기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

[data analysis]연속확률분포: 누적분포함수 (CDF)

누적분포함수(CDF)

연속변수는 한 지점에서의 확률을 결정할 수 없습니다. 그러므로 이산변수와는 다르게 특정한 지점에서 확률계산은 적분을 적용합니다. 즉, 누적분포함수는 일정한 구간에 대한 확률밀도함수의 적분결과이며 이산변수의 경우 일정 구간의 확률질량함수 결과들의 합입니다.

누적분포함수는 지정한 범위에서의 확률밀도함수들의 합으로 정의됩니다. 그러므로 연속변수의 경우 식 1과 같이 계산됩니다. 일반적으로 표준정규분포의 CDF의 F(x)를 Φ(x)로도 나타냅니다.

\begin{align}F(x)&=\Phi(x)\\&=P(Z\le x)\\&=\frac{1}{\sqrt{2}}\int^x_{-\infty} \exp\left(-\frac{x^2}{2} \right)\, dx\end{align} (식 1)

누적분포함수는 식 2의 세가지 조건들을 모두 만족해야 합니다.

a) limF(x) =  1, limF(x) = 0(Eq. 3.2.22)
x→∞x→∞
b) F(0) = 0.5
c) F(-x) = 1 − F(x), x ∈ ℝ

표준정규분포와 정규분포는 단순히 데이터의 선형변환에 의한 것으로 본질적으로는 동일한 형태를 나타내므로 정규분포 변수 x를 z으로 변환하는 것으로 표준정규분포의 PDF와 CDF를 산출할 수 있습니다.

예 1)

X ~ N(-10, 4)를 따르는 랜덤변수 x에 대해 다음의 확률들을 계산합시다.

  1. P(X < 0)
  2. P(-7 < X < 3)
  3. P(X > -3 | X > -5)

이 정규분포에 대한 표준 정규분포는 시각화하여 나타내면 그림 3.2.5와 같습니다.

그림 1. 정규분포(μ = -10, σ2 = 4)와 표준정규분포.
x=np.linspace(-25, 5, 1000)
y1=stats.norm.pdf(x, -10, 4)
y2=stats.norm.pdf(x)
fig, ax=plt.subplots(figsize=(4,3))
ax.plot(x, y1, color="g", label="N(-10, 4)")
ax.plot(x, y2, color="b", label="N(0,1)")
ax.set_xlabel("x", loc="right")
ax.set_ylabel("pdf", loc="top")
ax.spines["right"].set_visible(False)
ax.spines["top"].set_visible(False)
ax.spines["left"].set_position("center")
ax.spines["bottom"].set_position(('data', 0))
ax.legend(loc="center left", frameon=False)
plt.show()

$1)\;P(X\lt 0)=P\left(Z \lt \frac{0-(-10)}{2}\right)$

mu=-10
var=4
cf=stats.norm.cdf(0, mu, np.sqrt(var))
round(cf, 6)
1.0

2) P(-7 < X < 3)

cf2=stats.norm.cdf(3, mu, np.sqrt(var))-stats.norm.cdf(-7, mu, np.sqrt(var))
round(cf2, 3)
0.067

3) 조건부확률로서 식 2와 같이 계산합니다.

\begin{align} P(X \gt -3\vert X \gt -5)& = \frac{P(X \gt -3, X \gt -5)}{P(X \gt -5)}\\&=\frac{P(X \gt -3)}{P(X \gt -5)}\\&=\frac{1-P(X \le -3)}{1-P(X \le -5)} \end{align} (식 2)

식 2의 마지막 항과 같이 전체에서 일정 구간의 누적확률을 제외하는 결과는 생존확률(survival provability)라고 하며 scipy.stats.norm.sf() 메서드를 적용하여 계산할 수 있습니다.

cf3=stats.norm.sf(-3, mu, np.sqrt(var))/stats.norm.sf(-5, mu, np.sqrt(var))
round(cf3, 3)
0.037

정규분포를 표준정규분포로 변환하는 것은 원시자료(raw data)의 선형변환에 의해 새로운 변수를 생성하는 것으로 고려할 수 있습니다. 그러므로 식 3과 같이 확률 변수 x를 ax+b로 선형변환하여 생성한 새로운 변수 y의 평균과 분산은 다음과 같이 계산할 수 있습니다.

X ∼ N(μx, σ2x) (식 3)
Y = aX + b, a, b ∈ ℝ
μy = aμx + b
σ2y = a2σ2x
Y ∼ N(aμx + b, a2σ2x)

예 2)

두 회사 주가의 일간변화율 X, Y를 확률변수로 하는 정규분포는 다음과 같이 나타냅니다.

X ~ N(0.18, 4.43),   Y ~ N(0.33, 11.5)

서로 독립이라는 가정하에서 다음을 결정합니다.

  1. Z = X + Y → P(Z > 0.7)
  2. P(Y − X > 0.3)

1) 두 확률변수들의 결합분포 Z에대해 P(Z > 0.7)은 식 4와 같이 계산할 수 있습니다.

Z = X + Y (식 4)
E(Z) = E(X) + E(Y)
= 0.18 + 0.33
= 0.51
Var(Z) = Var(X) + Var(Y)
= 4.43 + 11.5
= 15.93
Z ∼ N(0.51, 15.93)
muz=0.18+0.33
varz=4.43+11.5
pthan07=stats.norm.sf(0.7, muz, np.sqrt(varz))
round(pthan07, 4)
0.481

2) Y - X가 0.3이상일 확률은 1 - P(Y - X < 0.3)와 같으므로 0.3을 기준으로 생존확률을 의미합니다.

mux=0.18; muy=0.33
varx=4.43; vary=11.5
pthan03=stats.norm.sf(0.3, muy-mux, np.sqrt(vary-var))
round(pthan03, 4)
0.4782

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b