[data analysis] Cook's Distance(D)

Cook's Distance(D_i)

관련된 내용

• 회귀모형에서 이상치(outlier) 파악
• Hat 행렬
• 레버리지(Leverage)
• 스튜던트 잔차(rstudent)

잔차들 중의 이상치는 잔차의 크기가 이상적으로 크거나 작은 경우에 해당되며 이는 레버리지와 잔차 자신의 크기가 모두 관계됩니다. 이 둘의 영향을 모두 반영하는 기준이 Cook’s distance(D)이며 식1과 같이 정의 됩니다.

\begin{align}D_i& = \frac{(y_i-\hat{y_{(i)}})^2}{(p+1)\text{MSE}}\cdot \frac{h_{ii}}{(1-h_{ii})^2}\\ & y_{(i)}:\; x_i\text{를 제외한 자료로부터 구현된 모델을 적용한 추정치}\\ & p:\;\text{설명변수의 수} \end{align}

(식 1)

식 1에서 Cook’s distance(D)는 잔차(첫번째항)와 레버리지(두번째항)에 의해 결정됩니다. 즉, 각 샘플의 설명변수(X)와 반응변수(y) 모두를 고려합니다. 그러므로 D_i 값이 크다면 추정값들 사이의 차이가 크다는 것으로 모델에 가하는 영향이 크다는 것을 의미하며 결정수준보다 크다면 왜곡된 모형을 생성할 가능성이 증가할 것입니다. 이 지표의 결정수준으로 다음을 사용합니다.

• D_i > 0.5: i번째 데이터 포인트가 영향을 미칠 수 있으므로 추가 조사 필요
• D_i > 1: i번째 데이터 포인트가 영향을 미칠 가능성이 높음
• Cook's distance를 해석하는 다른 방법은 측정값을 F(k+1, n-k-1) 분포와 연관시키고 해당 백분위수 값을 찾는 것입니다. 이 백분위수가 약 10% 또는 20% 미만이면 케이스가 적합치에 거의 영향을 미치지 않는 것입니다. 반면에 50%에 가깝거나 그 이상이면 해당하는 샘플(들)이 큰 영향을 미칩니다.
• 요소들의 평균값을 기준으로 이상치 여부를 판단할 수 있습니다.

Fox's outlier Recommendation(식 2)에 의하면 Cook's distance가 다음의 기준에 부합하면 이상치로 고려합니다. 그러나 이 기준은 매우 보수적으로 계산됩니다.

\begin{align}D_i & \gt \frac{4}{N-k-1}\\ &N:\;\text{자료의 크기}\\& k:\;\text{회귀계수의 수(편차항 포함)} \end{align}

(식 2)

다음 코드로 호출한 자료에 대한 회귀모델 reg를 고려합니다.

import numpy as np 
import pandas as pd 
from sklearn.preprocessing import StandardScaler 
import matplotlib.pyplot as plt
import FinanceDataReader as fdr
import statsmodels.api as sm
from scipy import stats

st=pd.Timestamp(2021,1, 1)
et=pd.Timestamp(2024, 5, 10)
kos=fdr.DataReader('KS11',st, et)[["Open","Close"]]
kos.index=range(len(kos))
X=kos.values[:,0].reshape(-1,1)
y=kos.values[:,1].reshape(-1,1)

#독립변수 정규화(표준화)
xScaler=StandardScaler().fit(X)
X_n=xScaler.transform(X)
#반응변수 정규화(표준화)
yScaler=StandardScaler().fit(y)
y_n=yScaler.transform(y)

X_n0=sm.add_constant(X_n)
X_n0.shape, y_n.shape
reg=sm.OLS(y_n, X_n0).fit()

회귀모델 reg의 메서드 get_influence()에서 반환되는 "cooks_d"열의 자료를 사용하여 식 2를 계산합니다.

cook=infSummary["cooks_d"]
cd_ref=4/(len(reg.resid)-2-1)
cd_idx=np.where(cook>cd_ref)[0]
print(cd_idx)

[  0   3   4   9  10  11  13  1 …]

위 결과를 이상치로 간주하고 제외한 자료로부터 회귀모형을 다시 구축합니다.

ind_cd=np.delete(X_n0, cd_idx, axis=0)
de_cd=np.delete(y_n, cd_idx, axis=0)
reg_cd=sm.OLS(de_cd, ind_cd).fit()
print(f"회귀계수: {np.around(reg_cd.params, 3)}\nR2: {reg_cd.rsquared.round(3)}")

회귀계수: [0.001 0.999]
R2: 0.996

이 모델에 의한 잔차의 정규성을 검정합니다.

st, pVal=stats.shapiro(reg_cd.resid)
print(f"통계량: {round(st, 3)}, p-value:{round(pVal,3)}")

통계량: 0.996, p-value:0.056

그림 1. cook's distances로부터 이상치를 제외한 모델의 잔차 Q-Q plot.

plt.figure(figsize=(3,2))
fig=stats.probplot(reg_cd.resid, plot=plt)
plt.show()

위 결과와 그림 1은 이 모델에 의한 잔차는 정규성을 따른다고 할 수 있습니다. 즉, 이 모델은 원시데이터에 의한 모델보다 높은 신뢰도를 가집니다.