Kolmogorov-Smirnov Test
관련된 내용
- Q-Q plot
- shapiro-Wilk test
- Kolmogorov-Smirnov Test
- Anderson-Darling 검정
- Jarque-Bera test
Kolmogorov-Smirnov 검정 (K-S test)은 표본이 특정 분포를 가진 모집단에서 추출되었는지 결정하는 데 사용됩니다. 즉, 자료의 분포가 특정한 분포와의 일치정도를 정량화하여 검정하는 방법입니다. 분석대상 자료의 분포를 알 수 없으므로 식 1에 의해 생성된 경험적 분포 함수 (Emperical distribution fucntion, ECDF)와 특정분포를 비교합니다.
| $$ECDF =\frac{n(i)}{N}$$ | (식 1) |
식 1의 n(i)는 데이터를 오름차순으로 정렬한 경우의 각 요소의 위치이며 분모인 N은 전체 자료수입니다.
자료가 오름차순으로 정렬되면 각 값까지의 누적확률은 그것이 위치하는 순서에 의존됩니다. 예를 들어 총 20개의 데이터 중의 2번째의 값의 누적확률은 0.1(2/20)이 됩니다. 전체적으로 각 데이터마다 1/20씩 증가하는계단함수가 됩니다. 이것을 경험적 누적분포함수라고 하며 이 함수가 정규분포의 누적함수와의 일치 정도로 자료의 정규성을 검정합니다.
그림 1은 100개의 랜덤 샘플에 대한 경험적 누적분포함수와 정규누적분포함수를 작성한 것입니다.
np.random.seed(3)
N=100
da=np.sort(np.random.randn(N))
ecdf=[i/N for i in range(1, N+1)]
nCdf=stats.norm.cdf(da)
plt.figure(figsize=(4,2))
plt.plot(da, ecdf, color="blue", label="ECDF")
plt.plot(da, nCdf, color="red", label="normCDF")
plt.legend(loc="best")
plt.xlabel("x", weight="bold")
plt.ylabel("probility", weight="bold")
plt.show()
K-S 검정의 가설은 다음과 같습니다.
| H0: 데이터는 특정한 분포를 따릅니다. |
| H1: 데이터는 특정한 분포를 따르지 않습니다. |
이 검정의 대상(검정통계량, D)은 두 분포함수의 거리차이가 됩니다. 즉, 식 2와 같이 |ECDF(x) - NCDF(x)|의 최대값이 됩니다.
| $$D=\underset{1\le i \le N}{\text{max}}{\Large{\vert}}F(x_i)-\frac{i}{N}{\Large{\vert}}$$ | (식 2) |
식 2의 F(xi)는 이론적 분포함수로 이 분포의 평균, 표준편차등은 분석 대상 자료에서 계산된 것이 아닙니다. 예를 들어, 이론적 누적분포로서 표준정규분포를 적용한다면 평균과 표준편차는 0, 1로 지정됩니다. 계산된 검정통계량이 임계값 이상이 된다면 귀무가설을 기각합니다.
D > 임계값 → H0: 기각
위의 판단 기준인 임계값은 K-S table로부터 샘플의 규모와 유의수준에 의해 결정할 수 있습니다. 본 서에서는 이 표를 대신에 scipy.stats.kstest() 함수를 사용합니다.
예 1)
다음 자료 즉, kospi와 kosdaq 지수의 일일 종가 자료에 대해 k-s 검정으로 사용하여 정규성을 결정합니다.
| kospi | kosdaq | |
|---|---|---|
| 0 | 2669.8 | 878.9 |
| 1 | 2607.3 | 871.6 |
| 2 | 2587.0 | 866.2 |
| 3 | 2578.1 | 878.3 |
| 4 | 2567.8 | 879.3 |
| ⋮ | ⋮ | ⋮ |
위 자료를 생성하기 위한 코드입니다. 자료간의 스케일의 차이를 보정하기 위해 각 자료를 표준화하였습니다.
st=pd.Timestamp(2024,1,1)
et=pd.Timestamp(2024, 5, 30)
kos=fdr.DataReader("KS11",st, et)["Close"]
kq=fdr.DataReader("KQ11", st, et)["Close"]
kos1=(kos-kos.mean())/kos.std()
kq1=(kq-kq.mean())/kq.std()
각 자료의 호출과 ECDF, NCDF(이론적 누적분포)의 계산 코드는 다음과 같습니다.
kos2=np.sort(kos1) kq2=np.sort(kq1.dropna()) n_kos=len(kos2) n_kq=len(kq2) ecdf_kos=[i/n_kos for i in range(1, n_kos+1)] ncdf_kos=stats.norm.cdf(kos2) ecdf_kq=[i/n_kq for i in range(1, n_kq+1)] ncdf_kq=stats.norm.cdf(kq2)
그림 1은 호출하여 조정한 데이터들에 대한 그래프입니다.
plt.figure(figsize=(8,3))
plt.subplot(1,2,1)
plt.plot(kos2, ecdf_kos, color="blue", label="ECDF")
plt.plot(kos2, ncdf_kos, color="red", label="NCDF")
plt.legend(loc="best")
plt.title("Kospi", weight="bold")
plt.xlabel("x", weight="bold")
plt.ylabel("probility", weight="bold")
plt.subplot(1,2,2)
plt.plot(kq2, ecdf_kq, color="blue", label="ECDF")
plt.plot(kq2, ncdf_kq, color="red", label="NCDF")
plt.legend(loc="best")
plt.title("USD/KRW", weight="bold")
plt.xlabel("x", weight="bold")
plt.show()
위 자료들에 대해 ks 검정은 stats.kstest(x, cdf, N=20) 함수를 적용합니다. 이 함수의 cdf는 자료의 분포와 비교한 기준 분포의 누적함수이며 N은 자료의 크기 입니다. 이 함수는 통계량과 유효확률(p-value)를 반환합니다.
st_kos, pv_kos=stats.kstest(kos1, stats.norm.cdf, N=n_kos)
st_kq, pv_kq=stats.kstest(kq1, stats.norm.cdf, N=n_kq)
print("통계량:%.3f, p-value:%.3f" %(st_kos, pv_kos))
통계량:0.121, p-value:0.099
print("통계량:%.3f, p-value:%.3f" %(st_kq, pv_kq))
통계량:0.067, p-value:0.737
위 결과는 유의수준 0.05를 기준으로두 자료 모두 정규분포에 부합한다는 귀무가설을 기각할 수 없습니다.