[data analysis]연속확률분포: 누적분포함수 (CDF)

누적분포함수(CDF)

연속변수는 한 지점에서의 확률을 결정할 수 없습니다. 그러므로 이산변수와는 다르게 특정한 지점에서 확률계산은 적분을 적용합니다. 즉, 누적분포함수는 일정한 구간에 대한 확률밀도함수의 적분결과이며 이산변수의 경우 일정 구간의 확률질량함수 결과들의 합입니다.

누적분포함수는 지정한 범위에서의 확률밀도함수들의 합으로 정의됩니다. 그러므로 연속변수의 경우 식 1과 같이 계산됩니다. 일반적으로 표준정규분포의 CDF의 F(x)를 Φ(x)로도 나타냅니다.

\begin{align}F(x)&=\Phi(x)\\&=P(Z\le x)\\&=\frac{1}{\sqrt{2}}\int^x_{-\infty} \exp\left(-\frac{x^2}{2} \right)\, dx\end{align}

(식 1)

누적분포함수는 식 2의 세가지 조건들을 모두 만족해야 합니다.

a)	lim	F(x) =  1,	lim	F(x) = 0	(Eq. 3.2.22)
	x→∞		x→∞
b) F(0) = 0.5
c) F(-x) = 1 − F(x), x ∈ ℝ

표준정규분포와 정규분포는 단순히 데이터의 선형변환에 의한 것으로 본질적으로는 동일한 형태를 나타내므로 정규분포 변수 x를 z으로 변환하는 것으로 표준정규분포의 PDF와 CDF를 산출할 수 있습니다.

예 1)

X ~ N(-10, 4)를 따르는 랜덤변수 x에 대해 다음의 확률들을 계산합시다.

1. P(X < 0)
2. P(-7 < X < 3)
3. P(X > -3 | X > -5)

이 정규분포에 대한 표준 정규분포는 시각화하여 나타내면 그림 3.2.5와 같습니다.

그림 1. 정규분포(μ = -10, σ² = 4)와 표준정규분포.

x=np.linspace(-25, 5, 1000)
y1=stats.norm.pdf(x, -10, 4)
y2=stats.norm.pdf(x)
fig, ax=plt.subplots(figsize=(4,3))
ax.plot(x, y1, color="g", label="N(-10, 4)")
ax.plot(x, y2, color="b", label="N(0,1)")
ax.set_xlabel("x", loc="right")
ax.set_ylabel("pdf", loc="top")
ax.spines["right"].set_visible(False)
ax.spines["top"].set_visible(False)
ax.spines["left"].set_position("center")
ax.spines["bottom"].set_position(('data', 0))
ax.legend(loc="center left", frameon=False)
plt.show()

$1)\;P(X\lt 0)=P\left(Z \lt \frac{0-(-10)}{2}\right)$

mu=-10
var=4
cf=stats.norm.cdf(0, mu, np.sqrt(var))
round(cf, 6)

1.0

2) P(-7 < X < 3)

cf2=stats.norm.cdf(3, mu, np.sqrt(var))-stats.norm.cdf(-7, mu, np.sqrt(var))
round(cf2, 3)

0.067

3) 조건부확률로서 식 2와 같이 계산합니다.

\begin{align} P(X \gt -3\vert X \gt -5)& = \frac{P(X \gt -3, X \gt -5)}{P(X \gt -5)}\\&=\frac{P(X \gt -3)}{P(X \gt -5)}\\&=\frac{1-P(X \le -3)}{1-P(X \le -5)} \end{align}

(식 2)

식 2의 마지막 항과 같이 전체에서 일정 구간의 누적확률을 제외하는 결과는 생존확률(survival provability)라고 하며 scipy.stats.norm.sf() 메서드를 적용하여 계산할 수 있습니다.

cf3=stats.norm.sf(-3, mu, np.sqrt(var))/stats.norm.sf(-5, mu, np.sqrt(var))
round(cf3, 3)

0.037

정규분포를 표준정규분포로 변환하는 것은 원시자료(raw data)의 선형변환에 의해 새로운 변수를 생성하는 것으로 고려할 수 있습니다. 그러므로 식 3과 같이 확률 변수 x를 ax+b로 선형변환하여 생성한 새로운 변수 y의 평균과 분산은 다음과 같이 계산할 수 있습니다.

X ∼ N(μx, σ2x)	(식 3)
Y = aX + b, a, b ∈ ℝ
μy = aμx + b
σ2y = a2σ2x
Y ∼ N(aμx + b, a2σ2x)

예 2)

두 회사 주가의 일간변화율 X, Y를 확률변수로 하는 정규분포는 다음과 같이 나타냅니다.

X ~ N(0.18, 4.43),   Y ~ N(0.33, 11.5)

서로 독립이라는 가정하에서 다음을 결정합니다.

1. Z = X + Y → P(Z > 0.7)
2. P(Y − X > 0.3)

1) 두 확률변수들의 결합분포 Z에대해 P(Z > 0.7)은 식 4와 같이 계산할 수 있습니다.

Z	= X + Y	(식 4)
E(Z)	= E(X) + E(Y)
	= 0.18 + 0.33
	= 0.51
Var(Z)	= Var(X) + Var(Y)
	= 4.43 + 11.5
	= 15.93
Z ∼ N(0.51, 15.93)

muz=0.18+0.33
varz=4.43+11.5
pthan07=stats.norm.sf(0.7, muz, np.sqrt(varz))
round(pthan07, 4)

0.481

2) Y - X가 0.3이상일 확률은 1 - P(Y - X < 0.3)와 같으므로 0.3을 기준으로 생존확률을 의미합니다.

mux=0.18; muy=0.33
varx=4.43; vary=11.5
pthan03=stats.norm.sf(0.3, muy-mux, np.sqrt(vary-var))
round(pthan03, 4)

0.4782