Anderson-Darling(AD) 검정
관련된 내용
- Q-Q plot
- shapiro-Wilk test
- Kolmogorov-Smirnov Test
- Anderson-Darling 검정
- Jarque-Bera test
KS 검정은 표본의 분포와 특정분포를 비교하여 표본의 분포를 결정하기 위해 실시합니다. Anderson-Darling(AD) 검정은 KS 검정을 수정한 것으로 꼬리 부분에 더 많은 가중치를 부여합니다. 또한 KS 검정의 검정량 D는 비교하는 두 분포의 거리차로 특정한 분포를 가정하지 않습니다. 반면이 AD 검정은 임계값을 계산할 떄 정규, 균일, 지수등의 특정분포를 사용합니다. 그러므로 민감한 검정이 가능합니다. 각 분포에 대한 임계값 D를 계산하는 것이 가능하지만 일반적으로 다양한 통계 프로그램에서 제공됩니다.이 검정은 scipy.stats.ansderson(x, dist="norm") 함수에 의한 결과로 판단할 수 있습니다.
Anderson-Daring(AD) 검정의 귀무가설과 통계량을 식 1과 같습니다.
| H0: 데이터는 특정 분포를 따릅니다. | (식 1) |
| 검정 통계량 A2 = -N − S | |
| $$S=\sum^N_{i=1}\frac{2i-1}{N}\left[\ln F(y_i) + \ln(1-F(y_{N+1-i})\right]$$ |
식 1에서 F(y)는 특정분포의 누적분포 함수이고 yi는 정렬된 데이터(ordered data)입니다.
예 1)
다음은 일정한 기간의 kospi 지수와 kosdaq 지수의 일일 종가 자료입니다.
| kospi | kosdaq | |
|---|---|---|
| 0 | 2669.8 | 878.9 |
| 1 | 2607.3 | 871.6 |
| 2 | 2587.0 | 866.2 |
| 3 | 2578.1 | 878.3 |
| 4 | 2567.8 | 879.3 |
| ⋮ | ⋮ | ⋮ |
각 자료의 정규성을 파악하기 위해 Anderson-Darling 검정을 실시해 봅니다.
위 자료를 생성하기 위한 코드입니다. 자료간의 스케일의 차이를 보정하기 위해 각 자료를 표준화하였습니다.
st=pd.Timestamp(2024,1,1)
et=pd.Timestamp(2024, 5, 30)
kos=fdr.DataReader("KS11",st, et)["Close"]
kq=fdr.DataReader("KQ11", st, et)["Close"]
kos1=(kos-kos.mean())/kos.std()
kq1=(kq-kq.mean())/ex.std()
kos_ad=stats.anderson(kos1)
print(f"통계량: {kos_ad.statistic.round(3)}")
통계량: 2.303
kos_re=pd.DataFrame([kos_ad.critical_values, kos_ad.significance_level], index=['수준별 임계값','유의수준(%)']) kos_re.T
| 수준별 임계값 | 유의수준(%) | |
|---|---|---|
| 0 | 0.555 | 15.0 |
| 1 | 0.632 | 10.0 |
| 2 | 0.759 | 5.0 |
| 3 | 0.885 | 2.5 |
| 4 | 1.053 | 1.0 |
kq_ad=stats.anderson(ex1)
print(f"통계량: {kq_ad.statistic.round(3)}")
통계량: 0.429
kq_re=pd.DataFrame([kq_ad.critical_values, kq_ad.significance_level], index=['수준별 임계값','유의수준(%)']) kq_re.T
| 수준별 임계값 | 유의수준(%) | |
|---|---|---|
| 0 | 0.555 | 15.0 |
| 1 | 0.632 | 10.0 |
| 2 | 0.759 | 5.0 |
| 3 | 0.885 | 2.5 |
| 4 | 1.053 | 1.0 |
위 결과에 의하면 kospi의 경우 통계량은 가장 낮은 유의수준 1%(0.01)의 임계값보다 크므로 기각역에 포함됩니다. 그러므로 정규분포에 부합한다는 귀무가설을 기각합니다. 반면에 kq의 경우는 가장 큰 유의수준(15%)보다 작으므로 귀무가설을 기각할 수 없습니다. 즉, kq는 정규성에 부합합니다.