[data analysis] 회귀계수의 평가

회귀계수의 평가

다음은 일정기간의 kospi의 Open과 Close에 대한 자료이고 각각을 설명변수와 반응변수로 지정하여 회귀모델을 구축한 것입니다.

st=pd.Timestamp(2021,1, 1)
et=pd.Timestamp(2024, 5, 10)
kos=fdr.DataReader('KS11',st, et)[["Open","Close"]]
kos.index=range(len(kos))
kos.head(3).round(2)

X=kos.values[:,0].reshape(-1,1)
y=kos.values[:,1].reshape(-1,1)
from sklearn.preprocessing import StandardScaler 
#독립변수 정규화(표준화)
xScaler=StandardScaler().fit(X)
X_n=xScaler.transform(X)
#반응변수 정규화(표준화)
yScaler=StandardScaler().fit(y)
y_n=yScaler.transform(y)

from statsmodels.api import add_constant, OLS
X_n0=add_constant(X_n)
reg=OLS(y_n, X_n0).fit()
print(f'회귀계수(b0, b1) :{np.around(reg.params,3)}\nR2:{np.around(reg.rsquared,3)}')

회귀계수(b0, b1) :[0.    0.997]
R2:0.994

위에서 생성된 회귀모델 reg의 메서드 summary()는 모델의 결과를 요약한 3개의 표들을 반환합니다. 다음 코드는결과 중 두 번째 표를 나타낸 것으로 t 검정 결과를 나타내고 있습니다. 이것은 생성된 모델의 회귀계수에 대해 다음 귀무가설(H0)을 검정합니다.

H0: 계수에 의해 유의한 차이를 보이지 않음

re=reg.summary()
re.tables[1]

	coef	std err	t	P>|t|	[0.025	0.975]
const	1.511e-15	0.003	5.69e-13	1.000	-0.005	0.005
x1	0.9971	0.003	375.626	0.000	0.992	1.002

이 평가에 의하면 신뢰구간 내에 회귀계수 0을 포함하지 않습니다. 또한 유의확률(p-value)은 0에 근접하므로 유의수준보다 매우 낮습니다. 이 결과는 귀무가설을 기각 할 수 있음을 나타냅니다. 이 논의는 다음과 같이 일반화할 수 있습니다.

산출한 회귀계수들 역시 확률변수로서 분포를 형성하므로 검정을 실시할 수 있습니다. 위에서 언급한 것과 같이 그 분포는 오차의 분포와 같은 형태를 가지므로 오차의 분산을 기준으로 회귀계수의 분산을 계산할 수 있습니다. 편차항을 제외한 회귀모델에서 오차(e)는 식 1과 나타낼 수 있습니다. 이 식으로부터 회귀계수는 추정치(반응변수-오차)와 설명변수의 비로 계산됩니다.

\begin{align}e& = y-b_1x\\ b_1&=\frac{y-e}{x}\\e:&\; \text{오차} \end{align}

(식 1)

식 1에서 나타낸 것과 같이 b₁의 변동은 추정과 설명변수의 변동 비로 유도할 수 있으며 식 2와 같이 일반화하여 나타낼 수 있습니다.

\begin{align}\sigma_{b1}^2 & = \frac{\sigma_e^2}{\sum^n_{i=1}(x_i-\bar{x})^2}\\ & = \frac{\sigma_e^2}{S_{xx}}\\ \sigma_{b0}^2 & = \frac{\sum^n_{i=1}x_i^2}{n\sum^n_{i=1}(x_i-\bar{x})^2}\sigma_e^2\\ & = \frac{\sum^n_{i=1}x_i^2}{nS_{xx}}\sigma_e^2\\ n,\; \sigma_e:&\;\text{표본의 크기, 오차의 표준편차}\end{align}

(식 2)

행렬 연산에 의해 회귀계수들의 변동은 식 3과 같이 나타낼 수 있습니다.

\begin{align}\text{Var}(b)&=(X^TX)^{-1}\sigma_e^2\\ &=\begin{bmatrix}\frac{\sum x_i^2}{nS_{xx}}&-\frac{\bar{x}}{S_{xx}}\\-\frac{\bar{x}}{S_{xx}}&\frac{1}{S_{xx}} \end{bmatrix}\sigma_e^2\\ n,\; \sigma_e:&\;\text{표본의 크기, 오차의 표준편차}\end{align}

(식 3)

식 3에서 c₀₀σ²_e와 c₁₁σ²_e이 각각 b₀, b₁의 분산이 됩니다. 그 식들로부터 계산된 회귀계수의 표준편차는 오차항의 평균오차를 불편추정량으로 사용합니다.

#오차항의 표준오차
error=reg.resid
se=pd.DataFrame(error).sem()
np.around(se, 4)

0    0.0027
dtype: float64

#회귀계수 b1의 표준편차
sigmab=np.sqrt(error.var(ddof=2)/np.sum((X_n-X_n.mean())**2))
round(sigmab, 4)

0.0027

식 3의 설명변수 행렬에 의한 식 (X^TX)^-1σ²에 의한 계산으로 회귀계수의 분산행렬을 나타내면 다음과 같이 위 결과와 같습니다.

xtx=np.dot(X_n0.T, X_n0)
Var_coefM=la.inv(xtx)*error.var(ddof=2)
print(Var_coefM.round(6))

[[ 7.e-06 -0.e+00]
 [-0.e+00  7.e-06]]

sigma_b0=np.sqrt(Var_coefM[0,0])
sigma_b1=np.sqrt(Var_coefM[1,1])
print("sd(b0): %.3f, sd(b1): %.3f" %(sigma_b0, sigma_b1))

sd(b0): 0.003, sd(b1): 0.003

산출된b₁의 분산을 적용하여 자유도 n - 2인 t-분포에서 회귀계수를 검정할 수 있습니다. 이 검정의 귀무가설과 대립가설은 다음과 같습니다.

H0: b₁ = 0,   H1: b₁ ≠ 0

이 경우의 t 검정통계량은 식 4와 같습니다.

$$\text{t statistics} = \frac{b_1-0}{\sigma_{b1}}$$

(식 4)

검정통계량을 계산하고 유의수준 0.05에서의 신뢰구간과 유의확률을 계산해봅니다.

#검정통계량
t=reg.params[1]/sigmab
print(f't 통계량 : {round(t, 3)}')

t 통계량 : 375.626

df=len(pre)-2
df

825

#신뢰구간(회귀계수의 표준편차적용)
down, up=stats.t.interval(0.95, df, reg.params[1],sigmab)
print('하한:{:.4} 상한: {:.4}'.format(down, up))

하한:0.9919 상한: 1.002

#신뢰구간 (오차항의 표준오차적용)
down1, up1=stats.t.interval(0.95, df, reg.params[1],float(se))
print('하한: {:.4f} 상한: {:.4f}'.format(down1, up1))

하한:0.9919 상한: 1.002

#유의확률
pval=stats.t.sf(t, df)
print(f'p-value: {round(pval, 3)}')

p-value: 0.0