카이제곱 검정(χ2 test)
카이제곱검정($\chi^2$ 검정)은 카이제곱분포(chi-squared distribution)를 기준으로 귀무가설을 검정하는 분석 방법입니다. 카이제곱분포는 2개 이상의 독립적으로 정규분포를 따르는 변수들의 제곱으로 생성됩니다. 예를 들어 식 1과 같이 표준화된 변수들의 제곱은 자유도가 1인 카이제곱 분포에 부합합니다.
| $$Y=\left(\frac{x_i-\mu}{\sigma} \right)^2$$ | (식 1) |
그러므로 카이제곱 분포에 부합한다는 것은 비교되는 샘플들 간의 독립임을 의미합니다. 즉, 카이제곱 검정의 귀무가설은 다음과 같습니다.
H0: 각 그룹들은 독립입니다.
예 1)
코스피 지수(kos)에 대해 하루 앞선 원화 환율(ex)의 일일 시가 대비 종가의 상승과 하락에 대한 두 자료는 독립적임을 검정합니다.
이 자료를 작성하기 위해 FinanceDatareder.DataReader() 함수로 특정한 기간의 금융자료를 호출하였습니다. 호출된 자료는 연속변수로서 목록변수로 전환하기 위해 pd.cut() 함수를 적용합니다. 또한 두 데이터들을 결합하기 위해 pd.concat()를 적용합니다.
st=pd.Timestamp(2022,1,1)
et=pd.Timestamp(2023, 4, 10)
kos=fdr.DataReader('KS11', st, et)["Close"]
ex=fdr.DataReader('USD/KRW',st, et)["Close"]
kos=kos.pct_change()[1:]*100
ex=ex.pct_change()[1:]*100
kos1=pd.cut(kos, bins=[kos.min()-0.1, 0, kos.max()+0.1], labels=[0, 1])
ex1=pd.cut(ex, bins=[ex.min()-0.1, 0, ex.max()+0.1], labels=[0, 1])
data=pd.concat([ex1, kos1.shift(periods=-1)], join="inner", axis=1)
data.index=range(len(data))
data.columns=['ex', 'kos']
data=data.dropna()
data.head()
| ex | kos | |
|---|---|---|
| 0 | 1 | 1 |
| 1 | 1 | 1 |
| 2 | 0 | 1 |
| 3 | 1 | 1 |
| 4 | 0 | 1 |
data.shape
(343, 2)
다음 코드에서 두 변수에 대한 교차표를 작성하기 위해 pd.crosstab() 함수를 적용하였습니다.
table=pd.crosstab(data['kos'], data['ex'], rownames=["kos"], colnames=["ex"], margins=True) np.around(table, 3)
| ex | 0 | 1 | All |
|---|---|---|---|
| kos | |||
| 0 | 71 | 92 | 163 |
| 1 | 81 | 99 | 180 |
| All | 152 | 191 | 343 |
두 변수에 대한 각 자료의 규모는 정규분포를 따른다는 가정이 가능한 수준입니다. 그러므로 각 자료의 제곱의 합은 카이제곱분포에 부합한다고 할 수 있습니다. 이 두 자료에 대한 통계량은 식 2와 같이 계산됩니다.
| $$\chi^2\;\text{통계량} = \sum\frac{(\text{관측빈도 - 기대빈도})^2}{\text{기대빈도}}$$ | (식 2) |
식 2의 기대빈도(확률)는 두 자료가 독립임을 가정하여 계산된 빈도(확률)를 의미합니다. 예를 들어 위의 교차표에서 두 그룹이 독립이라면 위 결과의 셀인덱스 [0, 0]에 대한 기대 빈도는 식 3과 같이 계산할 수 있습니다.
| $$\frac{\text{ex가 0인 빈도}\times \text{kos가 0인 빈도}}{\text{전체수}} = \frac{136 × 151}{310}$$ | (식 3) |
위 방식으로 각 셀에 대응하는 기대확률을 계산하면 다음과 같습니다.
p_exp=np.zeros((2,2))
k=0
for i in table.iloc[:2,2]:
m=0
for j in table.iloc[2,:2]:
p_exp[k, m]=i*j/table.iloc[2,2]
m +=1
k +=1
print(p_exp.round(3))
[[ 72.233 90.767] [ 79.767 100.233]]
위 기대빈도를 적용하여 통계량을 계산합니다.
test=np.sum((table.values[:2,:2]-p_exp)**2/p_exp) round(test, 3)
0.072
p_value=stats.chi2.sf(test, 1) round(p_value, 3)
0.788
ci=stats.chi2.ppf(0.95, 1)
print(f"신뢰구간 하한: {ci.round(3)}")
신뢰구간 하한: 3.841
χ2의 검정은 "비교하는 그룹들이 독립이다"는 귀무가설(H0)을 검정하는 것입니다. 위 결과에 의하면 검정통계량은 유의수준 0.05에 대응하는 신뢰구간에 포함되며 유의확률(p-value) 역시 0.05에 비해 매우 크므로 귀무가설을 기각할 수 없습니다. 즉, 두 그룹은 독립입니다.
이 분석은 stats.chi2_contingency(교차표, correction=True) 함수를 사용할 수 있습니다. 이 함수는 검정통계량, p-value, 자유도, 기대빈도를 반환합니다. 이 함수의 인수 correction은 Yates' correction의 적용여부를 지정하는 것으로 각 관찰 값에 대응하는 예상 값을 향해 0.5만큼 조정하는 것입니다. 다음의 경우 이 수정을 적용하지 않았습니다.
stat, Pval, df, exp=stats.chi2_contingency(table.iloc[:2,:2], correction=False)
print(f'검정통계량: {stat.round(3)} , p-value: {Pval.round(3)} , 자유도: {df}\n기대빈도: {np.around(exp, 3)}')
검정통계량: 0.072 , p-value: 0.788 , 자유도: 1 기대빈도: [[ 72.233 90.767] [ 79.767 100.233]]
댓글
댓글 쓰기