[data analysis] 단측검정과 양측검정

단측검정과 양측검정

자료로부터 모평균 추정에 대한 귀무가설은 식 1과 같이 작성할 수 있습니다.

가설 1     H0: μ = Xbar,  H1: μ ≠ Xbar	(식 1)
가설 2     H0: μ ≥ Xbar,  H1: μ ≤ Xbar

위 가설 1의 경우 모평균이 표본평균과의 일치 여부를 검정하는 것으로 그 방향은 무관합니다. 즉, 정규분포의 평균을 중심으로 왼쪽 또는 오른쪽에 존재 여부는 관심이 없습니다. 이러한 경우를 양측검정(two-side test)이라고 합니다. 이와는 대조적으로 가설 2는 방향을 설정할 수 있습니다. 모평균은 표본평균보다 큰 위치에 존재하는지를 검정하는 것으로 단측검정(one-side test)라고 합니다.

예 1)

다음은 일정기간의 kodex 반도체의 일일종가 변화율 자료입니다. 이 자료를 모집단으로 하고 표집한 표본분포의 표본평균을 모평균의 불편추정치로 사용하기 위한 다음의 가설 검정을 실시합니다.

• 양측검정 - 귀무가설 : μ = x_bar
• 단측검정 - 귀무가설 : μ ≤ x_bar

	변화율
0	-1.436219
1	-3.177106
2	1.112887
...	...
114	-2.279976
117	-0.781979
118	-1.729208

위 자료는 다음의 코드로 호출한 것입니다.

import numpy as np 
import pandas as pd 
from sklearn.preprocessing import StandardScaler
from scipy import stats
import matplotlib.pyplot as plt
plt.rcParams['font.family'] ='NanumGothic'
plt.rcParams['axes.unicode_minus'] =False
import FinanceDataReader as fdr

st=pd.Timestamp(2023, 12, 1)
et=pd.Timestamp(2024,5, 30)
da=fdr.DataReader('091160', st, et)["Close"]
da1=da.pct_change()[1:]*100
da1.index=range(len(da1))
da1.head(3)

0   -1.436219
1   -3.177106
2    1.112887
Name: Close, dtype: float64

위 자료의 평균과 표준편차는 다음과 같습니다.

mu=da1.mean()
std=da1.std()
print(f'모평균: {round(mu, 4)}, 모표준편차: {round(std, 4)}')

모평균: 0.1681, 모표준편차: 1.6361

위 자료에서 크기 10개인 표본 1000개를 pd객체.sample() 메소드를 사용하여 표집합니다. 각 표본의 평균으로 구성된 표본 분포는 다음과 같습니다.

sample=[round(da1.sample(n=10, replace=False, random_state=i).mean(), 3) for i in range(100)]
sample[:3]

[0.636, 1.449, 0.175]

위 sample은 중심극한 정리와 표본평균분포의 특성에 따라 정규분포에 부합합니다. 데이터 sample을 표준화하여 표준정규분포에 부합여부를 확인하여 봅시다.

scal=StandardScaler().fit(sample.reshape(-1,1))
d=scal.transform(sample.reshape(-1,1))
print("Zscore_평균: %.3f, _표준편차: %.3f" %(d.mean(), d.std()))

Zscore_평균: 0.000, _표준편차: 1.000

그림 1. 데이터 d의 히스토그램과 표준정규분포

fig, ax=plt.subplots(figsize=(4, 3))
ax.hist(d, bins=15, color="g", alpha=0.3, label="histogram")
ax.set_xlabel("d")
ax.set_ylabel("frequency", color="g")
ax2=ax.twinx()
d1=np.sort(d, axis=0)
ax2.plot(d1, stats.norm.pdf(d1), color="b", label="N(0, 1)")
ax2.set_ylabel("pdf", color="b")
ax.legend(loc=(0.6, 0.8), frameon=False)
ax2.legend(loc=(0.6, 0.73), frameon=False)
plt.show()

신뢰수준 95%에서의 신뢰구간은 다음과 같습니다.

CI=stats.norm.interval(0.95)
print(np.round(CI, 3))

[-1.96  1.96]

위 신뢰구간에 모평균이 포함되는지 여부를 확인합니다. 이 확인은 표준정규분포(그림 1)에서 이루어지므로 모평균은 sample과 같은 scale로 전환된 값이어야 합니다.

mu_pop1=scal.transform(np.array(mu).reshape(-1,1))
print(mu_pop1)

[[0.02114367]]

모평균은 양측검정의 신뢰구간내에 포함되므로 귀무가설을 기각할 수 없습니다.

단측검정의 경우는 유의수준이 한쪽부분에 존재하며 이 예의 경우 귀무가설(H0)은 모평균(μ) 이 표본평균(xbar)보다 작은 구간에 위치합니다. 그러므로 유의수준 0.05에서 임계값(critical point)은 누적확률 0.95에 대응하는 확률변수 x가 됩니다. 이와 같이 확률에 대응하는 변수는 scipy.stats.norm() 클래스의 메서드 .ppf()를 사용하여 계산할 수 있습니다.

CP_one=stats.norm.ppf(1-0.05)
print(f'임계값: {round(CP_one, 3)}')

임계값: 1.645

그림 2 (a)와 (b)는 각각 위 결과에 대한 양측검정과 단측검정에 대한 신뢰구간(CI)을 나타낸 것입니다. 양측검정과 단측검정 모두 모평균이 신뢰구간에 포함되므로 각각의 귀무가설을 기각할 수 없습니다.

그림 2. (a)모평균 = 표본평균을 위한 양측검정과 (b)모평균 ≤ 표본평균을 위한 단측평균.

fig, (ax1,ax3)=plt.subplots(nrows=1, ncols=2, figsize=(8, 3))
d2=np.sort(np.ravel(d))
p=stats.norm.pdf(d2)
x_two=d2[np.where((d2>=CI[0] )&(d2<=CI[1]))[0]]
p_two=stats.norm.pdf(x_two)
x_one=d2[np.where(d2<=CP_one)[0]]
p_one=stats.norm.pdf(x_one)
ax1.plot(d2, p, color="g", label="N(0,1)")
ax1.vlines(mu_pop1, 0, 0.4, ls="--", color="r", label=r"$\mu_{pop}$")
ax1.fill_between(x_two, p_two, color="brown", alpha=0.3, label=r"CI, 1-$\alpha$")
ax1.set_xlabel("x\n(a) two side")
ax1.set_ylabel("pdf")
ax1.legend(loc="upper left", frameon=False)
ax1.text(-1, 0.1, f"{np.round(CI, 2)}", color="brown")
ax3.plot(d2, p, color="g", label=f"N(0, 1)")
ax3.vlines(mu_pop1, 0, 0.4, ls="--", color="r", label=r"$\mu_{pop}$")
ax3.fill_between(x_one, p_one, color="brown", alpha=0.3, label=r"CI, 1-$\alpha$")
ax3.set_xlabel("x\n(b) one side")
ax3.legend(loc="upper left", frameon=False)
ax3.text(-0.6, 0.1, f"(oo, {round(CP_one,2)}]", color="brown")
plt.show()