[data analysis] 가설검정(Hypothesis test)

가설검정(Hypothesis test)

통계적 추론은 표본에서 계산된 통계량을 기반으로 모집단의 모수에 대한 잠정적인 가설을 설정하는 단계와 그 가설을 채택 또는 기각하기 위한 검정 단계로 구성됩니다. 검정 단계에서 판단의 기준이 되는 통계량을 검정통계량이라고 합니다. 그 검정 통계량을 기준으로 더 극단적인 통계량이 나타날 확률을 유의확률(p-value)이라 합니다. p-value와 유의수준을 비교하여 그 통계량의 채택 또는 기각이 결정됩니다.

• p-value < 유의수준 : 참(true)으로 가정하는 가설을 기각(신뢰구간의 외부에 존재)
• p-value > 유의수준 : 참(true)으로 가정하는 가설을 기각하지 못함

[검정력(Power)과 표본수(Sample size)]

검정력은 잘못된 가설을 기각할 수 있는 확률을 의미합니다. 예를 들어 검정력이 90 %일 경우 잘못된 가설을 채택할 확률이 10 %가 존재함을 나타냅니다. 이것은 표 1에서 나타낸 제2종 오류입니다. 이러한 검정력은 표본수가 커지면 증가합니다. 그러므로 원하는 검정력을 얻기 위해서 적정한 표본수를 확보해야 합니다.

표 1 오류의 종류

	H0 진실	H0 거짓
H0 채택	옳은 결정	제2종오류(type II error)
H0 기각	제1종오류(type I error, α)	옳은 결정

귀무가설과 대립가설

분석자는 표본평균들의 평균을 모평균의 추정치로 사용한다는 가설을 세우고 이 가설에 대한 통계적 타당성을 검정할 수 있습니다. 이 가설이 통계적으로 유의한 차이를 보이지 않기 때문에 기각되지 않을 것으로 예상합니다. 이러한 가설을 귀무가설(null hypothesis, H0)이라합니다. 반대로 기각 될 것으로 예상되는 가설을 대립가설(alternative hypothesis, H1)이라 합니다. 귀무가설의 검정은 표본의 정보 즉, 검정통계량을 기반합니다. 이 통계적 분석을 가설검정이라 하며 표 1에서 나타낸 제1종 오류와 제2종 오류의 가능성을 포함합니다.

표 1에서 나타낸 것과 같이 유의수준은 귀무가설이 참일 때 기각하는 제1종 오류를 범할 확률로서 유의수준을 구체적로 설정함으로써 제1종 오류를 범할 확률을 통제할 수 있습니다. 즉, 결과적으로 유의수준을 높인다는 것은 오차범위를 좁히는 것으로 귀무가설이 진실일때만 채택할 경우를 증가시키는 것입니다. 이에 반해 검정력과 관계있는 2종 오류는 분석자가 조정할 수 없습니다. 이와 같이 단지 제1종 오류만을 통제하는 가설검정을 유의성검정(significance test)라고 합니다.

정리하면 가설 검정은 표본의 통계량을 가지고 추정한 모수에 대한 가설을 세우고 그 가설의 적합성 여부를 판단하는 과정입니다. 이 방법은 다음 단계들로 구성됩니다.

1. 가설의 수립
   • 가설은 귀무가설(H0)과 그와 상반되는 대립가설(H1 또는 Ha)로 구성됩니다.
   • 대립가설은 증명을 요구하는 가설이며 대립가설과 반대되는 주장 또는 기존의 주장을 귀무가설이라고 합니다.
   • 예를 들어 H0: μ ≤ X_bar, H1: μ > X_bar
2. 표본 즉, 입수한 데이터들의 기초통계량 계산: 표본 평균, 표준편차 등
3. 검정통계량 계산
   • 가설을 검정할 값들
   • 예를 들어 모집단이 정규분포를 따른다고 가정할 수 있다면 표준점수 z을 검정 기준으로 사용할 수 있습니다. 이 경우 z이 검정통계량이 됩니다(식 1).

   • \begin{align}Z&=\frac{\bar{x}-\mu}{\frac{\sigma}{\sqrt{n}}},\;\text{or}\;\frac{\bar{x}-\mu}{\frac{s}{\sqrt{n}}}\\ &\bar{x}, μ:\;\text{표본평균, 모평균}\\& s, σ:\; \text{표본 표준편차, 모표준편}\\n:\; \text{표본 크기} \end{align}

     (식 1)

4. 귀무가설을 기각할 영역을 설정(유의수준, α)
   • 유의수준에 대응하는 확률변수 x 값을 기각치(임계치, critical value)라고 하며 기각할 영역을 기각역(critical region)라고 합니다.
   • 예를 들어 95 % 신뢰수준에서 검정을 할 경우 검정통계량의 기각역은 식 2와 같이 나타냅니다.

   • $$\mu \lt \bar{x}-1.96\frac{\sigma}{\sqrt{n}}\, \cap \, \mu \gt \bar{x}+1.96\frac{\sigma}{\sqrt{n}}$$

     (식 2)

5. 결론
   • 검정통계량이 신뢰구간내에 존재하면 귀무가설 '채택', 기각역에 존재하면 '기각'

예 1)

다음은 한 회사의 과거 주가 자료의 정보입니다.

• 하루의 시가에 비해 종가 증가 확률(일일 증가): 0.53
• 표본 분석에서 일일 증가인 경우 30번 시행에서 10번 발생

위 정보를 기반으로 일일 증가가 10번이 되기 위한 평균 시행횟수를 30 이라는 귀무가설을 검정합시다. 이 시행에서 시행횟수가 확률변수(x)가 됩니다.

$$ \text{H}_0:\; \bar{x}= 30$$

예제는 베르누이 시행을 반복하면서 r 번째 성공까지의 확률변화를 나타내는 분포 즉, 음이항 분포를 가정할 수 있습니다. 이 분포에서 총 시행횟수인 확률변수 x, 성공횟수(r), 그리고 확률(p)이 모수가 됩니다(식 3).

x ~ NB(10, 0.53)

(식 3)

stats.nbinom.stats(성공횟수, 확률, moment="mv") 메서드를 사용하여 위 조건의 음이항 분포의 평균과 분산을 계산합니다.

r, p=10, 0.53
mu, var=stats.nbinom.stats(r, p, moments='mv')
print(f'평균: {np.round(mu,3)}, 분산: {np.round(var, 3)}')

평균: 8.868, 분산: 16.732

stats.nbinom.interval() 메소드를 사용하여 유의수준 α = 0.05에서 신뢰구간은 다음과 같습니다.

np.around(stats.nbinom.interval(0.95, r, p), 2)

array([ 2., 18.])

귀무가설의 x값은 30이므로 신뢰구간외에 존재합니다. 즉, 귀무가설을 채택하기가 어렵습니다.

유의확률(p value)을 사용하여 이 결과를 확인하여 봅시다. 유의 확률은 위 가설의 확률변수를 하한으로 그 이상의 값들에 대응하는 누적확률을 의미하는 것으로 생존함수(survival function)에 의해 계산할 수 있습니다. 이 함수는 전체에서 가설인 확률변수 x까지의 누적확률을 제외한 것과 같습니다. stats 모듈의 각 분포 클래스에서 sf() 메소드를 적용하여 생존함수를 계산할 수 있습니다.

k=30-r
pVal=stats.nbinom.sf(k, r, p)
print(f'p value: {np.round(pVal, 4)}')

p value: 0.0093

유의수준 0.05와 비교해 보면 위 유의확률은 매우 작습니다. 즉, 귀무가설을 기각할 수 있습니다. 위 결과를 시각화하면 그림 1과 같습니다.

그림 1. 음이항 분포를 따르는 변수들의 모평균 추정(critical range = 기각역).

x=range(0, 50)
r, p=10, 0.53
p1=stats.nbinom.pmf(x, r, p)
x2=range(2, 19)
p2=stats.nbinom.pmf(x2, r, p)
x3=range(18, 50)
p3=stats.nbinom.pmf(x3, r, p)
x4=range(0,3)
p4=stats.nbinom.pmf(x4, r, p)
plt.figure(figsize=(4,3))
plt.plot(x, p1, color="g", label="NB(10, 0.53)")
plt.fill_between(x2, p2, color="brown", alpha=0.3,label=r"1-$\alpha$=0.95")
plt.fill_between(x3, p3, color="b", alpha=0.3, label=r"$\frac{\alpha}{2}$=0.025")
plt.fill_between(x4, p4, color="b", alpha=0.3)
plt.vlines(30, 0, 0.02, ls="--", color="r", label="p-value")
plt.legend(loc="best")
plt.text(25, 0.01, "critical range(cr)", color="b")
plt.text(-2, 0.01, "cr", color="b")
plt.text(3, 0.02, "Confidence\nInterval ", color="brown")
plt.show()

가설검정의 유의수준의 영역을 한쪽 또는 양쪽으로 지정할 수 있습니다. 기사 단측검정과 양측검정에서 소개합니다.