이분산인 두 소규모 표본의 비교
내용
- 두 독립집단의 비교
- 소규모 표본에서 등분산
- 이분산인 두 소규모 표본의 비교
- 두 대규모 표본의 비교
소규모 표본의 경우 다음 2가지 가정하에 t분포를 기준으로 가설검정을 실시합니다.
| 가정 1: 각 모집단이 정규분포를 따름 |
| 가정 2: 두 모분산이 동일 |
가정 1의 경우 모집단이 크다면 중심극한 정리에 의해 정규분포를 가정하는 것은 합리적입니다. 정규분포는 표준화에 의해 각 모집단의 분포의 분산은 같아집니다. 그러나 정규분포의 가정이 불확실할 경우 가정 2역시 불확실성을 가집니다. 이러한 경우는 각 표본의 분산 정도에 따라 판단합니다. 두 표본 표준편차의 비가 0.5와 2사이에 존재한다면 등분산으로 가정할 수 있습니다(식 1).
| $$0.5 ≤ \frac{s_1}{s_2} \le 2$$ | (식 1) |
위 식의 조건에 부합하지 않은 경우 또는 다른 이유로 등분산 가정이 적용되기 어려운 경우 등분산을 가정한 합동분산은 적용할 수 없습니다. 대신에 식 1과 같이 계산되는 결합확률분포의 합동분산을 적용합니다.
| \begin{align}E(X-Y)&=E(X)-E(Y)\\&=\mu_x-\mu_y\\\text{Var}(X-Y)&=\text{Var}(X)+\text{Var}(Y)-\text{Cov}(X,Y)\\ &=\frac{\sigma_x^2}{n_x}+\frac{\sigma_y^2}{n_y}\\&\text{Cov}(X,Y)=0\quad \because\;X,\,Y:\text{독립}\\& n: \text{샘플의 크기}, \; \mu: \text{평균},\;\sigma: \text{표준편차}\end{align} | (식 1) |
이 결합분포의 표준편차는 각 그룹의 샘플 규모를 고려한 것으로 결합분포의 표준오차로 사용할 수 있습니다. 소규모 표본이므로 t 분포를 기준으로 분석을 시행하기 때문에 자유도 선택의 문제가 존재합니다. 합동분산인 경우 자유도는 n1 + n2 - 2를 적용하지만 각각의 표본분산을 사용할 경우 수정된 자유도를 사용합니다. 대표적으로 Welch의 수정된 자유도(df)를 적용합니다(식 2).
| $$\text{df}=\frac{\left(\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2} \right)^2}{\frac{1}{n_1-1}\left(\frac{s_1^2}{n_1}\right)^2+\frac{1}{n_2-1}\left(\frac{s_2^2}{n_2}\right)^2}$$ | (식 2) |
자유도의 값이 정수가 아닌 경우 소수점 첫 자리에서 반올림을 하여 사용합니다. 다른 방법으로 n1-1, n2 -1 중에 작은 값을 자유도에 적용하는 방법도 있습니다.
예 1)
다음 자료는 코덱스 레버리지(kl)와 코덱스 인버스(ki)의 주가 자료로 부터 일일 시가(Open)과 종가(Close)의 변화율입니다. 자료의 규모는 각각 20와 18 개입니다.
| data1 | data2 | |
|---|---|---|
| 0 | NaN | 0.058 |
| 1 | NaN | 0.559 |
| 2 | NaN | 0.668 |
| 3 | -7.379 | 0.690 |
| 4 | 1.785 | -0.111 |
자료의 두 모평균이 같음을 검정합니다.
H0: μkl - μki = 0, H1: μkl - μki ≠ 0
위 자료 호출을 위한 코드입니다.
st=pd.Timestamp(2024, 4,17)
st2=pd.Timestamp(2024, 4,20)
et=pd.Timestamp(2024, 5, 30)
kl=fdr.DataReader('122630',st2, et)["Close"]
ki=fdr.DataReader('114800', st, et)["Close"]
kl=kl.pct_change()[1:]*100
ki=ki.pct_change()[1:]*100
data=pd.concat([kl, ki], axis=1)
data.columns=["kl", "ki"]
data.index=range(len(data))
두 자료의 표는 등분산 범위를 벗어나므로 이분산으로 가정합니다.
sd_kl=kl.std(ddof=1) sd_ki=ki.std(ddof=1) round(sd_kl/sd_ki, 3)
1.788
계산된 결합확률분포의 분산과 자유도를 모수로 하는 t 분포 기반으로 유의수준 0.05에서 신뢰구간과 p-value를 계산합니다. 결합분포의 표준편차는 계산과정에서 각 그룹의 크기가 고려된 것으로 표준오차를 대신할 수 있습니다.
n_kl, n_ki=len(kl), len(ki)
se=np.sqrt(sd_kl**2/(n_kl)+sd_ki**2/(n_ki))
print(f'표준오차: {round(se, 3)}')
표준오차: 0.501
nom=(kl.var(ddof=1)/n_kl+ki.var(ddof=1)/n_ki)**2
deno=(1/(n_kl-1))*(kl.var(ddof=1)/n_kl)**2+(1/(n_ki-1))*(ki.var(ddof=1)/n_ki)**2
df=nom/deno
print(f'자유도: {round(df, 0)}')
자유도: 37.0
mukl, muki=kl.mean(), ki.mean()
mu_hat=mukl-muki
low=mu_hat+stats.t.ppf(0.025, df)*se
up=mu_hat+stats.t.ppf(0.975, df)*se
print(f'하한:{low.round(3)}, 상한:{up.round(3)}')
하한:-0.922, 상한:1.11
위 결과는 표준 T-분포를 기반으로 한 것으로 두 그룹의 평균 차이를 중심으로 하는 T 분포에서 직접적으로 계산할 수 있습니다.
ci=stats.t.interval(0.95, df, mu_hat, se )
print("하한: %.3f, 상한: %.3f" %(ci[0], ci[1]))
하한:-0.922, 상한:1.11
위 결과는 신뢰구간내에 μ = 0인 위치가 포함되어 있으므로 귀무가설을 기각 할 수 없습니다. p-value로서 위 결과를 확인해 봅니다. 우선 t-검정량은 다음과 같습니다.
t_stat=mu_hat/se; t_stat.round(3)
0.187
pVal=2*stats.t.sf(t_stat, df)
print(f"p-value: {round(pVal, 3)}")
p-value: 0.852
위 결과는 두 그룹의 평균이 같다는 귀무가설을 기각할 수 없습니다. 이 t검정은 scipy.stats.ttest_ind() 함수에서 인수 equal_val = False로 지정하여 사용합니다.
re=stats.ttest_ind(kl, ki, equal_var=False)
print(f"통계량: {re.statistic.round(3)}, p-value: {re.pvalue.round(3)}")
통계량: 0.187, p-value: 0.852
statsmodels 패키지의 CompareMeans()클래스로 위 결과를 확인해 봅니다.
from statsmodels.stats.weightstats import CompareMeans, DescrStatsW
cm=CompareMeans(DescrStatsW(kl), DescrStatsW(ki)) se_cls=cm.std_meandiff_separatevar #이분산 표준오차 se_cls.round(3)
0.501
ci_cls=cm.tconfint_diff(0.05, usevar="unequal")
print("하한: %.3f, 상한: %.3f" %(ci_cls[0], ci_cls[1]))
하한: -0.922, 상한: 1.110
stat_cls, pVal_cls, df_cls=cm.ttest_ind(usevar="unequal")
print("통계량: %.3f, p-value: %.3f, df: %d" %(stat_cls, pVal_cls, df_cls))
통계량: 0.187, p-value: 0.852, df: 36
cm.summary(use_t=True, alpha=0.05, usevar="unequal")
| coef | std err | t | P>|t| | [0.025 | 0.975] | |
|---|---|---|---|---|---|---|
| subset #1 | 0.0939 | 0.501 | 0.187 | 0.852 | -0.922 | 1.110 |
댓글
댓글 쓰기