Q-Q plot
관련된 내용
Q-Q(사분위수) plot은 두 자료들을 분위수로 구분한 후 동일한 분위수 값들에 대해 작성한 도표로서 두 그룹의 분포를 비교하는 방법으로 역누적분포에 의해 설명됩니다. 역누적분포 (Inverse cumulative distribution)는 누적분포의 역함수입니다. 예를 들어 표준정규분포의 누적분포와 역누적분포는 그림 1과 같이 나타낼 수 있습니다.
x=np.linspace(-3, 3,1000)
pdf=stats.norm.pdf(x)
cdf=stats.norm.cdf(x)
q=np.linspace(0, 1, 1000)
ppf=stats.norm.ppf(q)
plt.figure(figsize=(8, 5))
plt.subplots_adjust(wspace=0.3)
plt.subplot(1,2,1)
plt.plot(x, pdf, color="blue", label="PDF")
plt.plot(x, cdf, color="red", label="CDF")
plt.xlabel("x")
plt.ylabel("probability")
plt.legend(loc="best")
plt.title("(a)", loc="left")
plt.subplot(1,2,2)
plt.plot(q, ppf, color="green", label="Inverse CDF")
plt.xlabel("probaility(q)")
plt.ylabel("I(q)")
plt.legend(loc="best")
plt.title("(b)", loc="left")
plt.show()
어떤 두 그룹 A, B가 동일한 분포를 가진다면 그 그룹들의 역누적분포 함수들(I(x))은 식 1과 같이 선형관계가 성립됩니다.
| IA(x) = mIB(x) + n | (식 1) |
| m, n ∈ ℝ |
식 1을 만족하는 두 그룹 중 B가 정규분포를 따른다면 A는 정규분포를 따른다고 할 수 있습니다. 물론 이 관계는 정성적 분석방법으로 부합 정도를 수치로 나타낼 수 없지만 대략적인 정규성을 판단할 수 있습니다.
Q-Q plot은 실제 데이터와 정규분포를 따르는 이론적 데이터를 대응시킨 것입니다. 즉, 식 1의 선형모형은 정규분포를 따르는 이론적 데이터인 IB(x)와 실제 데이터인 IA(X) 사이의 회귀분석을 통해 생성됩니다. 이 모형으로부터 생성된 직선이 이 두 그룹의 적합성 여부를 시각적으로 보여줍니다. 일반적으로 생성되는 직선에서 이탈 정도로 대략적인 판단을 적용합니다.
회귀모형은 변수(설명변수)에 대응하는 다른 변수(반응변수)의 관계를 설명하기 위한 수학모형을 설정합니다.
그림 2는 정규성을 기반하지 않는 1000개의 랜덤수와 정규분포에 부합하는 동수의 랜덤수들에 대한 Q-Q plot을 작성한 것입니다. Q-Q plot은 scipy.stats.probplot(data) 함수에 의해 작성합니다. 이 함수는 x(이론적 분위수), y(data의 정렬된 값), 회귀선의 기울기와 편차(절편), 그리고 결정계수(R2)을 포함하는 Q-Q plot을 반환합니다. 결정계수(coefficient of determination)는 상관계수를 제곱한 것으로 [0, 1]범위의 값을 가지며 데이터 전체에 대한 예측을 위한 모델을 평가하는 기준입니다. 즉, 데이터 전체를 대상으로 하므로 개별값들의 경향과 영향정도에는 둔감합니다. 그러므로 결정계수는 정규분포에 부합여부를 판단기준으로는 적합하지 않습니다. 그림 2의 (a)는 (b)에 비해 정규성에 큰 이탈을 보이지만 여전히 높은 결정계수값을 나타냅니다.
np.random.seed(1)
x=np.random.rand(1000)
x2=stats.norm.rvs(size=1000, random_state=3)
plt.figure(figsize=(8,3))
ax1=plt.subplot(1,2,1)
f1=stats.probplot(x, plot=plt, rvalue=True)
ax1.set_title("(a) Q-Q plot: random")
ax2=plt.subplot(1,2,2)
f2=stats.probplot(x2, plot=plt, rvalue=True)
ax2.set_title("(b) Q-Q plot: normal random")
plt.show()
그림 2(b)와 같이 정규분포를 따르는 자료는 거의 일직선을 보이는 것에 반해 (a)의 경우는 분포의 꼬리 부분에서 직선을 이탈한 형태를 보입니다. 이 둘 모두 높은 결정계수(회귀모형 평가 참조)를 보이지만 이 값이 데이터의 정규성을 보장하지는 않습니다. 위의 두 자료에 대한 히스토그램(그림 3)을 비교하여 보면 더욱 명확해 집니다.
fig, (ax1, ax2)= plt.subplots(nrows=1, ncols=2, figsize=(8, 3))
ax1.hist(x, bins=30, rwidth=0.8, color="b")
ax1.set_xlabel("x (a) random", loc="right", size="12")
ax1.set_ylabel("Frequency", size="12")
ax2.hist(x2, bins=30, rwidth=0.8, color="g")
ax2.set_xlabel("x (b)normal random", loc="right", size="12")
plt.show()
예 1)
일정기간의 ksopi지수와 원-달러 환율의 종가에 대해 Q-Q plot에 의한 정규성 검정을 실시해봅니다. 다음 자료는 표준화한 결과입니다.
| kos | ex | |
|---|---|---|
| 0 | 0.295 | -2.274 |
| 1 | -0.440 | -1.621 |
| 2 | -0.678 | -1.533 |
| 3 | -0.783 | -1.453 |
| 4 | -0.904 | -1.366 |
| 5 | -0.981 | -1.427 |
다음은 데이터를 작성하기 위한 코드입니다.
st=pd.Timestamp(2024,1,1)
et=pd.Timestamp(2024, 5, 30)
kos=fdr.DataReader("KS11",st, et)["Close"]
ex=fdr.DataReader("USD/KRW", st, et)["Close"]
kos1=(kos-kos.mean())/kos.std()
ex1=(ex-ex.mean())/ex.std()
data=pd.concat([kos1, ex1], join="inner", axis=1)
data.index=range(len(data))
data.columns=['kos', 'ex']
plt.figure(figsize=(8, 3))
ax1 = plt.subplot(121)
res = stats.probplot(kos1, plot=plt)
ax1.set_title("Q-Q plot: KOSPI")
ax2 = plt.subplot(122)
res = stats.probplot(ex1, plot=plt)
ax2.set_title("Q-Q plot: USDKRW")
ax2.set_ylabel("")
plt.show()
그림 4에서 나타낸 것과 같이 두 그래프 모두 회귀선과의 이탈을 보이지만 일반적으로 회귀선과의 큰 이탈을 보이지 않는 경우 정규성을 가정할 수 있습니다. 그러나 보다 정확한 판단을 위해서는 정량 분석이 필요합니다.