기본 콘텐츠로 건너뛰기

pandas_ta를 적용한 통계적 인덱스 지표

[data analysis]등분산인 두 소규모 표본의 비교

등분산인 두 소규모 표본의 비교

내용

일반적으로 자료의 규모가 30이하일 경우 정규분포 대신 t분포를 사용합니다. 또한 동일 모집단이나 유사한 모집단에서 추출된 표본으로 동일한 분산이라고 가정할 수 있다면 결합분포는 식 1와 같이 나타낼 수 있습니다.

\begin{align} \bar{x}-\bar{y}&\;\sim\;\left(\mu_x-\mu_y,\; \sigma^2\left(\frac{1}{n_x}+\frac{1}{n_y} \right) \right)\\&n: \text{샘플의 크기}, \; \mu: \text{평균},\;\sigma: \text{표준편차}\end{align} (식 1)

표준정규분포를 기반으로 하는 분석 즉, z-검정을 위해서는 식 2를 적용해 각 표본의 평균에 대한 z 통계량 계산합니다.

$$Z=\frac{x-\mu}{\sigma}$$ (식 2)

그러나 현실적으로 모표준편차 (σ)는 알 수 없는 경우가 많습니다. 이러한 경우 불편추정치로 표본분산(s2)를 사용합니다. 자료의 규모가 작은 경우 위 z 통계량은 자유도를 모수로 하는 t 분포를 따르며 그 분포의 검정 통계량인 t 통계량은 식 3과 같이 계산됩니다.

\begin{align}t& =\frac{\bar{x}-\mu}{\frac{s}{n}}\;\sim\;t(\text(자유도))\\ \bar{x}&=\frac{\bar{x_1}+\bar{x_2}+\cdots +\bar{x_n}}{n}\\s^2&=\frac{\sum^n_{i=1}(x_i\bar{x})^2}{n-1}\end{align} (식 3)

동일한 분산을 가진다고 가정할 수 있는 경우 두 집단의 결합분포 표준편차로 합동표준편차(pooled standard deviation)를 사용합니다. 식 4와 같이 정의되는 합동표준편차는 두 그룹의 표준편차들에 대한 가중평균입니다.

$$s_p^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2}$$ (식 4)

표본의 규모가 작은 경우는 자유도에 의존하는 t-분포를 적용합니다. 그러므로 식 5와 같이 작은 규모의 두 그룹으로부터 결합 확률분포는 t 분포를 적용합니다. 이 경우 결합분포의 합동표준편차를 사용합니다.

\begin{align}\bar{x}-\bar{y}&\sim N\left(\mu_x-\mu_y,\; s_p^2\left(\frac{1}{n_x}+\frac{1}{n_y} \right) \right)\\ \Rightarrow \bar{x}-\bar{y}&\sim t(n_x+n_y-2) \\& \because \; \text{소규모 표본}\end{align} (식 5)

이 검정의 가설은 식 6과 같습니다.

H0: μX = μY,   H1: μX ≠ μY (식 6)

정규분포 대신에 t 분포를 기반으로 이루어지는 검정을 t-검정(t-test)이라 하며 클래스 scipy.stats.t()의 다양한 메소드를 사용하여 분석할 수 있습니다. t-분포는 자유도에 의존되므로 이 함수에 자유도를 지정해 주어야 합니다.

예 1)

다음 자료는 두 주식의 종가 변화율입니다.

data1 data2
0 -0.778 -0.788
1 4.409 4.106
2 -2.596 -2.926
3 1.720 0.524
⋮ ⋮ ⋮

위 두 표본의 각 모집단의 분산이 같다고 가정하고 다음 귀무가설을 검정해 봅니다.

H0: μdata1 = μdata2,  H1: μdata1 ≠ μdata2

위 자료는 다음 코드로 호출하고 작성할 수 있습니다.

st=pd.Timestamp(2024, 4,20)
et=pd.Timestamp(2024, 5, 30)
da1=fdr.DataReader('091160', st, et)["Close"]
da2=fdr.DataReader('005930', st, et)["Close"]
da1=da1.pct_change()[1:]*100
da2=da2.pct_change()[1:]*100
da=pd.DataFrame([da1, da2], index=['data1', 'data2']).T
da.index=range(len(da1))

불편 추정량 즉, 각 표본의 표준편차를 사용하여 두 표본의 합동표준편차(sp)와 표준오차(se)를 계산합니다.

mu1, sd1, n1=np.mean(da1), np.std(da1, ddof=1), len(da1)
mu2, sd2, n2=np.mean(da2), np.std(da2, ddof=1), len(da2)
s_p=np.sqrt(((n1-1)*sd1**2+(n2-1)*sd2**2)/(n1+n2-2)); s_p.round(3)
1.798
se=s_p*np.sqrt((1/n1+1/n2))
round(se, 4)
0.5086

각각 소규모인 두 표본들의 등분산을 가정했으므로 두 그룹의 결합분포는 t-분포를 가정합니다. 즉, 자유도(df = n1 + n2 - 2)에 의존하는 t-분포를 기반으로 귀무가설을 검정합니다. 식 7에서 나타낸 것과 같이 두 그룹의 차이의 평균 추정치 0으로 가정할 경우 실제 차이가 그 통계량으로부터 신뢰구간을 계산할 수 있습니다. 다음은 유의수준 0.05에서의 신뢰구간입니다(신뢰구간(Confidence Interval) 참조).

\begin{align}& μ_1 − μ_2 = μ_{\text{pred}},\;  \overline{x_1} − \overline{x_2} = \overline{x_{\text{diff}}}\\ & t_{\text{df,0.025}}≤ \frac{\overline{x_{\text{diff}}}-μ_{\text{pred}}}{\text{SE}}\le t_{\text{df,0.975}}\\ &\Rightarrow\; μ_{\text{pred}}+t_{\text{df,0.025}}\cdot \text{SE} \le \overline{x_{\text{diff}} }\le μ_{\text{pred}}+t_{\text{df,0.975}}\cdot \text{SE}\end{align}(식 7)
SE: 표준오차
df=n1+n2-2
mu=mu1-mu2
low=mu+stats.t.ppf(0.025, df)*se
up=mu+stats.t.ppf(0.975, df)*se
print("low: %.3f, up: %.3f" %(low, up))
low: -0.686, up: 1.360

위 계산은 표준 T분포로부터 이루어진 것으로 평균과 표준오차를 모수로하는 T 분포에서 직접적으로 계산할 수 있습니다.

ci=stats.t.interval(0.95, df, mu, se)
print("low: %.3f, up: %.3f" %(ci[0], ci[1]))
low: -0.686, up: 1.360

위 코드의 메서드 interval()은 양측검정을 전제로 실행됩니다. 즉, ppf() 메서드를 사용한 다음의 두 코드를 모두 실행한 것입니다.

low=stats.t.ppf(0.025, df, mu, se)
up=stats.t.ppf(0.975, df, mu, se)
print("low: %.3f, up: %.3f" %(low, up))
low: -0.686, up: 1.360

귀무가설이 참이라면 두 그룹의 평균은 같으므로 그 차는 0이 되어야 합니다. 위 신뢰구간에 그 값이 포함되므로 귀무가설을 기각할 수 없습니다. 이 결과를 확인하기 위해 두 그룹의 평균의 차이에 대해 유의확률(p-value)를 계산해 봅니다.

t 검정의 검정통계량은 표준화된 값입니다. 즉, 두 그룹의 평균의 차를 가설인 평균 0과 표준오차로 표준화한 것입니다. 이 검정통계량 이상이 될 누적확률을 계산합니다. 다음은 검정통계량과 그 이상의 누적확률을 계산한 결과입니다.

testStatic=((mu1-mu2)-0)/se
testStatic.round(3)
0.663

이 분석은 양측검정입니다. 유의 수준 5%에서의 신뢰구간은 그림 1과 같이 나타낼 수 있습니다. 그 신뢰구간내에 검정통계량이 포함되므로 귀무가설을 기각할 수 없습니다.

그림 1. t 분포에서의 유의 확률.
plt.figure(figsize=(4, 3))
x=np.linspace(-3, 3, 500)
p=stats.t.pdf(x, df)
plt.plot(x, p, color="g", label=f"t({df})")
l=stats.t.ppf(0.025, df)
u=stats.t.ppf(0.975, df)
idx=np.where((x>l)& (x<u))[0]
plt.fill_between(x[idx], stats.t.pdf(x[idx], df), color="brown", alpha=0.3, label="Conf. Int.")
plt.vlines(testStatic, 0, stats.t.pdf(testStatic, df), ls="--", color="red", label="test Statistic")
plt.legend(loc='upper right', prop={'size':8})
plt.xlabel("x")
plt.ylabel("pdf")
plt.show()

검정통계량 이상의 값이 나올 확률 즉, 유의확률은 다음과 같이 계산됩니다. 유의수준 5%는 값에 대한 확률이 0.05이하이면 특이한 경우로 귀무가설을 채택할 수 없다는 기준입니다. 이 기준과 유의확률을 비교하여 분석에 결론을 결정할 수 있습니다.

pval=2*stats.t.sf(testStatic, df)
pval.round(3)
0.511

위 결과 역시 0.05의 유의 수준에 비해 매우 크므로 귀무가설을 기각할 수 없습니다. 즉, 두 그룹의 모평균은 같다고 할 수 있습니다. 이와 같은 독립 t검정은 stats.ttest_ind(x, y, equal_var=True)를 적용할 수 있습니다. 이 함수는 검정통계량과 pvalue를 반환합니다.

re=stats.ttest_ind(da1, da2, axis=0)
print("검정통계량: %.3f, p-value: %.3f" %(re[0], re[1]))
검정통계량: 0.663, p-value: 0.511

위 코드의 함수는 신뢰구간을 계산하지 않습니다. 패키지 statsmodels의 stats.weightstats.CompareMeans() 클래스는 두 집단의 평균 분석의 자세한 결과를 계산합니다. 이 클래스는 결합분포의 평균, 표준오차등의 속성들, t 검정과 신뢰구간을 반환하는 ttest()와 tconfident_mean() 메소드를 제공합니다. 이 클래스에 입력되는 데이터는 statsmodels.stats.weightstats.DescrStatsW() 클래스의 인스턴스입니다.

from statsmodels.stats.weightstats import CompareMeans, DescrStatsW
cm=CompareMeans(DescrStatsW(da1), DescrStatsW(da2))
se_cls=cm.std_meandiff_pooledvar #합동표준편차
se_cls.round(3)
0.509
ci_cls=cm.tconfint_diff(0.05)
print("low: %.3f, up: %.3f" %(ci_cls[0], ci_cls[1]))
low: -0.686, up: 1.360
stat_cls, pVal_cls, df_cls=cm.ttest_ind()
print("statistic: %.3f, p-value: %.3f, df: %d" %(stat_cls, pVal_cls, df_cls))
statistic: 0.663, p-value: 0.511, df: 48

위 결과는 이전에 다른 패키지의 함수들을 사용한 것과 같습니다. 위에서 사용한 클래스의 각 결과들은 summary() 메서드를 사용하여 종합적으로 나타낼 수 있습니다.

cm.summary()
Test for equality of means
coef std err t P>|t| [0.025 0.975]
subset #1 0.3371 0.509 0.663 0.511 -0.686 1.360

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같...

유리함수 그래프와 점근선 그리기

내용 유리함수(Rational Function) 점근선(asymptote) 유리함수 그래프와 점근선 그리기 유리함수(Rational Function) 유리함수는 분수형태의 함수를 의미합니다. 예를들어 다음 함수는 분수형태의 유리함수입니다. $$f(x)=\frac{x^{2} - 1}{x^{2} + x - 6}$$ 분수의 경우 분모가 0인 경우 정의할 수 없습니다. 이와 마찬가지로 유리함수 f(x)의 정의역은 분모가 0이 아닌 부분이어야 합니다. 그러므로 위함수의 정의역은 분모가 0인 부분을 제외한 부분들로 구성됩니다. sympt=solve(denom(f), a); asympt [-3, 2] $$-\infty \lt x \lt -3, \quad -3 \lt x \lt 2, \quad 2 \lt x \lt \infty$$ 이 정의역을 고려해 그래프를 작성을 위한 사용자 정의함수는 다음과 같습니다. def validX(x, f, symbol): ① a=[] b=[] for i in x: try: b.append(float(f.subs(symbol, i))) a.append(i) except: pass return(a, b) #x는 임의로 지정한 정의역으로 불연속선점을 기준으로 구분된 몇개의 구간으로 전달할 수 있습니다. #그러므로 인수 x는 2차원이어야 합니다. def RationalPlot(x, f, sym, dp=100): fig, ax=plt.subplots(dpi=dp) # ② for k in x: #③ x4, y4=validX(k, f, sym) ax.plot(x4, y4) ax.spines['left'].set_position(('data', 0)) ax.spines['right...

turtle로 정오각형 그리기

정오각형 그리기  오각형을 그리는 것 역시 정사각형 , 정삼각형 을 그리는 것과 유사한 과정을 거칩니다. 단지 각 꼭지점의 각도만이 다르지요. 그러면 정오각형의 각 모서리의 각도는 어떻게 될까요? 이를 생각하기에 앞서 각 도형의 내각을 먼저 생각해보죠. 우리는 삼각형의 내각의 합을 알고 있습니다. 이를 이용하면 각 도형에서 삼각형이 몇개가 존재하는지를 알아보고 "삼각형의 갯수×180"로 그 도형의 내각의 합을 구할 수 있을 것입니다. 다음 그림을 볼까요? 위 그림의 사각형은 1개의 대각선으로 2개의 삼각형으로 구성됩니다. 오각형의 경우 2개의 대각선으로 3개의 삼각형으로 구성됩니다. 즉, 다음의 관계를 보이지요. 사각형의 내각 : 삼각형 2개 2×180=360 한각의 값  360/4=90 오각형의 내각 : 삼각형 3개 3×180=540 한각의 값  540/5=108 육각형의 내각 : 삼각형 4개 4×180=720 한각의 값  720/6=120 ... 위 그림에서 내각과 외각의 관계를 보면 위 그림의 검은색은 각 모서리의 내각이고 빨간색은 외각을 나타냅니다. 외각은 내각을 이루는 하나의 선을 연장했을 경우 상대되는 각도이라고 했습니다. 그러므로 오각형의 경우 내각 108도에 대한 외각은 72도입니다. 특이할 사항은 사각형이나 오각형이나 외각의 합은 360입니다. 즉, 모든 도형의 외각의 합은 360도입니다. (삼각형의 외각의 합을 구해보세요.) 그러므로 모든 정다각형에서 하나의 외각은 다음과 같이 계산될 수 있겠지요. 360/변수의 수=다각형에서 하나의 외각 위에서 회전을 할 경우 내각이 아닌 외각을 사용해야 함을 알았습니다. 그러므로 오각형을 그리는 계획은 다음과 같이 작성할 수 있겠죠. 1) 지정한 길이만큼 앞으로 이동합니다. 2) 오른쪽 또는 왼쪽으로 72도를 회전합니다. 3) 앞으로 동일한 길이만큼 이동합니다. 4) 오른쪽 또는 왼쪽으로 72도 만큼 이동합니다. 5)1번부터 4번 ...