[data analysis] 카이제곱 검정($\chi^2$ test)

카이제곱 검정(χ² test)

카이제곱검정($\chi^2$ 검정)은 카이제곱분포(chi-squared distribution)를 기준으로 귀무가설을 검정하는 분석 방법입니다. 카이제곱분포는 2개 이상의 독립적으로 정규분포를 따르는 변수들의 제곱으로 생성됩니다. 예를 들어 식 1과 같이 표준화된 변수들의 제곱은 자유도가 1인 카이제곱 분포에 부합합니다.

$$Y=\left(\frac{x_i-\mu}{\sigma} \right)^2$$

(식 1)

그러므로 카이제곱 분포에 부합한다는 것은 비교되는 샘플들 간의 독립임을 의미합니다. 즉, 카이제곱 검정의 귀무가설은 다음과 같습니다.

H0: 각 그룹들은 독립입니다.

예 1)

코스피 지수(kos)에 대해 하루 앞선 원화 환율(ex)의 일일 시가 대비 종가의 상승과 하락에 대한 두 자료는 독립적임을 검정합니다.

이 자료를 작성하기 위해 FinanceDatareder.DataReader() 함수로 특정한 기간의 금융자료를 호출하였습니다. 호출된 자료는 연속변수로서 목록변수로 전환하기 위해 pd.cut() 함수를 적용합니다. 또한 두 데이터들을 결합하기 위해 pd.concat()를 적용합니다.

st=pd.Timestamp(2022,1,1)
et=pd.Timestamp(2023, 4, 10)
kos=fdr.DataReader('KS11', st, et)["Close"]
ex=fdr.DataReader('USD/KRW',st, et)["Close"]
kos=kos.pct_change()[1:]*100
ex=ex.pct_change()[1:]*100
kos1=pd.cut(kos, bins=[kos.min()-0.1, 0, kos.max()+0.1], labels=[0, 1])
ex1=pd.cut(ex, bins=[ex.min()-0.1, 0, ex.max()+0.1], labels=[0, 1])
data=pd.concat([ex1, kos1.shift(periods=-1)], join="inner", axis=1)
data.index=range(len(data))
data.columns=['ex', 'kos']
data=data.dropna()
data.head()

	ex	kos
0	1	1
1	1	1
2	0	1
3	1	1
4	0	1

data.shape

(343, 2)

다음 코드에서 두 변수에 대한 교차표를 작성하기 위해 pd.crosstab() 함수를 적용하였습니다.

table=pd.crosstab(data['kos'], data['ex'], rownames=["kos"], colnames=["ex"], margins=True)
np.around(table, 3)

ex	0	1	All
kos
0	71	92	163
1	81	99	180
All	152	191	343

두 변수에 대한 각 자료의 규모는 정규분포를 따른다는 가정이 가능한 수준입니다. 그러므로 각 자료의 제곱의 합은 카이제곱분포에 부합한다고 할 수 있습니다. 이 두 자료에 대한 통계량은 식 2와 같이 계산됩니다.

$$\chi^2\;\text{통계량} = \sum\frac{(\text{관측빈도 - 기대빈도})^2}{\text{기대빈도}}$$

(식 2)

식 2의 기대빈도(확률)는 두 자료가 독립임을 가정하여 계산된 빈도(확률)를 의미합니다. 예를 들어 위의 교차표에서 두 그룹이 독립이라면 위 결과의 셀인덱스 [0, 0]에 대한 기대 빈도는 식 3과 같이 계산할 수 있습니다.

$$\frac{\text{ex가 0인 빈도}\times \text{kos가 0인 빈도}}{\text{전체수}} = \frac{136 × 151}{310}$$

(식 3)

위 방식으로 각 셀에 대응하는 기대확률을 계산하면 다음과 같습니다.

p_exp=np.zeros((2,2))
k=0
for i in table.iloc[:2,2]:
  m=0
  for j in table.iloc[2,:2]:
    p_exp[k, m]=i*j/table.iloc[2,2]
    m +=1
  k +=1
print(p_exp.round(3))

[[ 72.233  90.767]
 [ 79.767 100.233]]

위 기대빈도를 적용하여 통계량을 계산합니다.

test=np.sum((table.values[:2,:2]-p_exp)**2/p_exp)
round(test, 3)

0.072

p_value=stats.chi2.sf(test, 1)
round(p_value, 3)

0.788

ci=stats.chi2.ppf(0.95, 1)
print(f"신뢰구간 하한: {ci.round(3)}")

신뢰구간 하한: 3.841

χ²의 검정은 "비교하는 그룹들이 독립이다"는 귀무가설(H0)을 검정하는 것입니다. 위 결과에 의하면 검정통계량은 유의수준 0.05에 대응하는 신뢰구간에 포함되며 유의확률(p-value) 역시 0.05에 비해 매우 크므로 귀무가설을 기각할 수 없습니다. 즉, 두 그룹은 독립입니다.

이 분석은 stats.chi2_contingency(교차표, correction=True) 함수를 사용할 수 있습니다. 이 함수는 검정통계량, p-value, 자유도, 기대빈도를 반환합니다. 이 함수의 인수 correction은 Yates' correction의 적용여부를 지정하는 것으로 각 관찰 값에 대응하는 예상 값을 향해 0.5만큼 조정하는 것입니다. 다음의 경우 이 수정을 적용하지 않았습니다.

stat, Pval, df, exp=stats.chi2_contingency(table.iloc[:2,:2], correction=False)
print(f'검정통계량: {stat.round(3)} , p-value: {Pval.round(3)} , 자유도: {df}\n기대빈도: {np.around(exp, 3)}')

검정통계량: 0.072 , p-value: 0.788 , 자유도: 1
기대빈도: [[ 72.233  90.767]
 [ 79.767 100.233]]