[data analysis] 신뢰구간(Confidence Interval)

신뢰구간(Confidence Interval)

표본평균($\bar{x}$)은 모평균(μ)을 위한 적합한 추정량이 될 수 있지만 불확실성이 존재합니다. 그 불확실성을 감소시키 위해 그 추정량을 기준으로 모평균의 존재 가능성이 높은 구간을 설정할 수 있습니다. 예를 들어 중심극한 정리에 의해 자료의 수가 크다면 정규분포를 가정할 수 있습니다. 즉, 표본수가 큰 표본분포의 경우 정규분포로 가정할 수 있으며 최대 확률을 보이는 평균을 중심으로 양쪽 또는 한쪽 방향으로 추정값이 존재할 수 있는 구간(신뢰구간)을 지정할 수 있습니다.

추정량이 모평균을 추정하는 신뢰구간 내에 존재한다면 모평균으로 사용할 수 있는 근거가 마련된 것입니다. 그러나 그 구간(interval) 외에 위치한다면 모평균으로 사용하는 것이 어렵다고 할 수 있습니다. 즉, 분포의 가정과 신뢰구간은 추정량의 채택 또는 기각에 대한 판정기준으로 사용됩니다.

신뢰구간은 발생할 수 있는 모든 값들 중에 추정치로 사용할 수 있는 값들이 포함되는 범위를 의미합니다. 이 범위는 분포상에서 점유하고 있는 누적확률로 나타낼 수 있습니다. 그림 1은 표준정규분포에서 평균을 중심으로 95%의 확률이 점유하는 면적으로 나타낸 것입니다. 이 경우 랜덤변수의 구간은 (-1.96, 1.96)이 됩니다. 즉, 이 구간내에 존재하는 값은 합리적인 추정치로 고려할 수 있음을 의미합니다. 물론 그 신뢰구간의 범위는 설정하는 누적확률에 따라 달라질 것입니다.

그림 1. N(0, 1)에서 확률 95%에 대응하는 신뢰구간.

import numpy as np 
from scipy import stats
import matplotlib.pyplot as plt

x=np.linspace(-3, 3, 1000)
plt.figure(figsize=(4,3))
plt.plot(x, stats.norm.pdf(x), color="g", label="N(0,1)")
x1=np.linspace(-1.96, 1.96, 100)
plt.fill_between(x1, stats.norm.pdf(x1), color="brown", alpha=0.3, label="p=0.95")
x2=np.linspace(-3, -1.96, 50)
plt.fill_between(x2, stats.norm.pdf(x2), color="blue", alpha=0.3, label=r"$\frac{\alpha}{2}$=0.025")
x3=np.linspace(1.96, 3, 50)
plt.fill_between(x3, stats.norm.pdf(x3), color="blue", alpha=0.3)
plt.text(-0.8, 0.15,"confidence\n Interval\n"+r"1-$\alpha$=0.95", color="r")
plt.legend(loc="upper right", frameon=False)
plt.xlabel("x")
plt.ylabel("PDF")
plt.show()

그림 1의 표준정규분포는 평균이 0입니다. 즉, 확률변수를 z score로 변환한것으로 원래의 스케일로 환원하면 식 1과 같이 모평균의 95% 신뢰구간을 나타낼 수 있습니다.

\begin{align}&P\left(-1.96 \le Z \le 1.96 \right) = 0.95\\ \equiv &\;P\left(-1.96 \le \frac{\bar{x}-\mu}{\frac{\sigma}{\sqrt{n}}} \le 1.96 \right) = 0.95 \\ \equiv&\;P\left(\mu-1.96\frac{\sigma}{\sqrt{n}} \le \bar{x} \le \mu+1.96\frac{\sigma}{\sqrt{n}} \right) = 0.95\end{align}

(식 1)

위 식의 결과에서 모평균 μ를 기준으로 왼쪽의 값을 신뢰하한(lower bound), 오른쪽의 값을 신뢰상한(upper bound)이라 합니다. 이 신뢰구간의 경계값은 식 2와 같이 계산할 수 있습니다.

$$\text{CI}_\mu = \bar{x} \pm z_{\frac{\alpha}{2}}\frac{\sigma}{\sqrt{n}}$$	(식 2)
n: 샘플 크기
zα는 α에 대응하는 표준점수(z score)

α는 전체에서 신뢰구간을 제외한 부분으로 유의수준(significant level)이라 합니다. 즉, 추정량을 채택할 수 없는 구간을 나타냅니다. 그림 1에서 신뢰구간을 제외한 곡선의 꼬리 부분이 유의수준(significant level)에 해당하는 영역입니다. 역으로 전체확률에서 유의수준을 제외한 부분 즉, 1 - α를 신뢰수준(confidence level) 또는 신뢰계수(confidence coefficient)라고 합니다.

유의수준 α가 0.05인 경우 곡선의 왼쪽과 오른쪽의 경계 지점은 0.025와 1 - 0.025가 됩니다. 이 지점에 대응하는 값이 표준점수이며 z_α/2로 나타냅니다. 이 값은 scipy.stats.norm.ppf(q, loc=0, scale=1) 메소드를 사용하여 확인할 수 있습니다. 이 메소드는 확률 q(0.025 또는 0.975)에 대응하는 값을 반환합니다. 이 결과는 scipy.stats.norm.interval(1-α, loc=0, scale=1) 메소드에 의해 반환되는 하한값 또는 상한값과 같습니다.

round(stats.norm.ppf(0.975), 4), round(stats.norm.ppf(0.025),4)

(1.96, -1.96)

np.around(stats.norm.interval(0.95), 4)

array([-1.96,  1.96])