[data analysis]Anderson-Darling(AD) 검정

Anderson-Darling(AD) 검정

관련된 내용

• Q-Q plot
• shapiro-Wilk test
• Kolmogorov-Smirnov Test
• Anderson-Darling 검정
• Jarque-Bera test

KS 검정은 표본의 분포와 특정분포를 비교하여 표본의 분포를 결정하기 위해 실시합니다. Anderson-Darling(AD) 검정은 KS 검정을 수정한 것으로 꼬리 부분에 더 많은 가중치를 부여합니다. 또한 KS 검정의 검정량 D는 비교하는 두 분포의 거리차로 특정한 분포를 가정하지 않습니다. 반면이 AD 검정은 임계값을 계산할 떄 정규, 균일, 지수등의 특정분포를 사용합니다. 그러므로 민감한 검정이 가능합니다. 각 분포에 대한 임계값 D를 계산하는 것이 가능하지만 일반적으로 다양한 통계 프로그램에서 제공됩니다.이 검정은 scipy.stats.ansderson(x, dist="norm") 함수에 의한 결과로 판단할 수 있습니다.

Anderson-Daring(AD) 검정의 귀무가설과 통계량을 식 1과 같습니다.

H0: 데이터는 특정 분포를 따릅니다.	(식 1)
검정 통계량 A2 = -N − S
$$S=\sum^N_{i=1}\frac{2i-1}{N}\left[\ln F(y_i) + \ln(1-F(y_{N+1-i})\right]$$

식 1에서 F(y)는 특정분포의 누적분포 함수이고 y_i는 정렬된 데이터(ordered data)입니다.

예 1)

다음은 일정한 기간의 kospi 지수와 kosdaq 지수의 일일 종가 자료입니다.

	kospi	kosdaq
0	2669.8	878.9
1	2607.3	871.6
2	2587.0	866.2
3	2578.1	878.3
4	2567.8	879.3
⋮	⋮	⋮

각 자료의 정규성을 파악하기 위해 Anderson-Darling 검정을 실시해 봅니다.

위 자료를 생성하기 위한 코드입니다. 자료간의 스케일의 차이를 보정하기 위해 각 자료를 표준화하였습니다.

st=pd.Timestamp(2024,1,1)
et=pd.Timestamp(2024, 5, 30)
kos=fdr.DataReader("KS11",st, et)["Close"]
kq=fdr.DataReader("KQ11", st, et)["Close"]
kos1=(kos-kos.mean())/kos.std()
kq1=(kq-kq.mean())/ex.std()

kos_ad=stats.anderson(kos1)
print(f"통계량: {kos_ad.statistic.round(3)}")

통계량: 2.303

kos_re=pd.DataFrame([kos_ad.critical_values, kos_ad.significance_level], index=['수준별 임계값','유의수준(%)'])
kos_re.T

	수준별 임계값	유의수준(%)
0	0.555	15.0
1	0.632	10.0
2	0.759	5.0
3	0.885	2.5
4	1.053	1.0

kq_ad=stats.anderson(ex1)
print(f"통계량: {kq_ad.statistic.round(3)}")

통계량: 0.429

kq_re=pd.DataFrame([kq_ad.critical_values, kq_ad.significance_level], index=['수준별 임계값','유의수준(%)'])
kq_re.T

	수준별 임계값	유의수준(%)
0	0.555	15.0
1	0.632	10.0
2	0.759	5.0
3	0.885	2.5
4	1.053	1.0

위 결과에 의하면 kospi의 경우 통계량은 가장 낮은 유의수준 1%(0.01)의 임계값보다 크므로 기각역에 포함됩니다. 그러므로 정규분포에 부합한다는 귀무가설을 기각합니다. 반면에 kq의 경우는 가장 큰 유의수준(15%)보다 작으므로 귀무가설을 기각할 수 없습니다. 즉, kq는 정규성에 부합합니다.