[data analysis] Ridge 회귀모델

Ridge 회귀모델

Ridge 회귀에서의 mse식은 식 1과 같이 OLS로부터의 값에 회귀계수에 가중치를 고려하여 정의합니다. 이항을 패널티(penalty)라고 하며 가중치는 패널티를 조절하기 위한 것으로 α라는 소멸 상수(shrinkage constant)라고 합니다. 이 식으로 정의된 회귀계수의 경우 가중치로 인해 큰 값과 작은 값의 차이가 증가하므로 큰 계수에 의한 영향은 더욱 커지지만 작은 크기의 계수에 의한 영향은 더욱 감소할 것입니다. 이 과정은 영향력이 큰 설명변수들을 선택하는 것과 유사한 효과가 발생합니다.

\begin{align}\text{MSE}&= (y − Xβ)^T(y − Xβ)-\alpha\Vert{\beta^2}\Vert \quad \alpha \ge 0\\ \frac{\partial \text{MSE}}{\partial \beta}& = −2X^Ty + 2X^TXβ - 2αβ = 0\\ \tag{식 1} \Leftrightarrow & (X^TX - αI)β = X^Ty\\ \Leftrightarrow & β = (X^TX - αI)^{-1}X^Ty\\ & X,\, y:\; \text{설명, 반응변수}\\& α,\, β:\; \text{소멸계수, 회귀계수}\end{align}

식 1에서 나타낸 것과 같이 ridge 모델의 패널티 항은 L2 Norm(계수의 제곱합)으로 회귀계수에 대해 2차식이 됩니다. 2차식의 미분으로 최소점을 계산할 수 있습니다. 식 2와 같이 X^TX + αI는 변수들의 공분산행렬의 대각원소들에게만 변동을 주는 형태로 변수들의 각 분산과 공분산의 차이를 확대시킵니다. 이 결과는 다중공선성에서 소개한 것과 같이 역행렬의 각 값을 축소하여 회귀계수들이 분산을 감소시킵니다. 이러한 감소는 다중공선성 문제의 축소로 이어야 집니다.

$$\tag{식 2}\begin{bmatrix}x_1& x_2& x_3\\y_1& y_2& y_3 \end{bmatrix}\begin{bmatrix} x_1& y_1 \\x_2& y_2\\ x_3 & y_3\end{bmatrix}+\alpha\begin{bmatrix}1& 0\\ 0& 1 \end{bmatrix}=\begin{bmatrix}\sum x^2-\alpha& \sum xy\\ \sum xy& \sum y^2-\alpha \end{bmatrix}$$

Ridge 모델은 sklearn.linear_model.Ridge(alphas) 클래스를 적용하여 생성할 수 있습니다.

sklean.datasets.make_regression() 함수에 의해 회귀모델 구축을 위한 설명변수와 반응변수를 생성할 수 있습니다. 그림 1은 이 인공데이터에서 생성하는 ridge 모델에서 소멸계수(α)의 영향을 나타낸 것입니다.

import numpy as np
import pandas as pd
from sklearn.linear_model import Ridge, RidgeCV
from sklearn.datasets import make_regression
import yfinance as yf
import matplotlib.pyplot as plt

X, y=make_regression(n_samples=100, n_features=10, random_state=3)
X.shape, y.shape

((100, 10), (100,))

alphas=[0.1,1,10,100,1000]
coefs=np.ones(10)
for  a in alphas:
    ridge=Ridge(alpha=a , fit_intercept=False).fit(X,y)
    coefs=np.c_[coefs, ridge.coef_]
coefs=coefs[:,1:]
coefs.shape

(10, 5)

그림 1. 소멸계수(α)에 따른 회귀계수의 변화.

plt.figure(figsize=(5, 3))
plt.plot(alphas, coefs.T)
plt.xlabel("alpha")
plt.ylabel("coeficients")
plt.title("Trend of coefficiency by alpha")
plt.show()

소멸계수(α)의 증가는 모든 회귀계수들의 영향력의 차이를 감소시키며 어떤 단계 이후 소멸계수에 따른 회귀계수의 변화는 거의 일어나지 않습니다. 즉, 소멸계수에 의해 각 변수에 따른 모델의 변동은 극히 작아진다는 것은 변수들 간의 상관 정도가 약해짐을 의미합니다. 이것은 다중 공선성의 문제를 약화시킨다고 할 수 있습니다.

ridge 모델에서 가장 중요한 요소는 적절한 α(소멸계수)를 찾는 것입니다. sklearn.linear_model.RidgeCV() 클래스를 사용하여 적절한 소멸계수에 의한 모델을 생성할 수 있습니다. 위의 가상데이터에 대해 이 클래스를 적용하면 다음과 같습니다.

rid=RidgeCV(alphas=alphas, alpha_per_target=True).fit(X, y)
print(rid.coef_.round(3))

[43.742 68.821 11.568 51.992 43.962 51.083 86.167 48.953 40.419 93.349]

rid.alpha_

0.1

RidgeCV() 클래스의 CV는 교차검정(cross validation)을 의미하는 것으로 지정한 매개변수 alphas에서 최적의 값을 찾기 위한 검정방법입니다. 이 방법은 데이터를 몇개의 그룹으로 구분합니다. 예를 들어 5개의 소그룹으로 분리하여 4개의 그룹을 모델 생성에 사용하며 나머지 그룹을 생성된 모델을 검정하기 위해 사용합니다. 이 방식을 5번 반복하면 모든 소그룹이 검정 데이터로 사용될 수 있습니다.

예 1)

코스피지수(kos), 코스탁지수(kq), kodex 레버리지(kl), kodex 인버스(ki), 그리고 원달러환율(WonDol)의 일일 시가, 고가, 저가, 종가(o,h,p,c)들을 설명변수로 사용하여 삼성전자(sam)의 일일 종가를 추정하는 ridge 모델을 적용하여 회귀모델을 생성합니다.

st=pd.Timestamp(2023,1, 10)
et=pd.Timestamp(2024, 5, 31)
code=["^KS11", "^KQ11", "122630.KS", "114800.KS","KRW=X","005930.KS"]
nme=["kos","kq","kl", "ki", "WonDol","sam" ]
da=pd.DataFrame()
for i, j in zip(nme,code):
    d=yf.download(j,st, et)[["Open","High","Low","Close"]]
    d.columns=[i+"_"+k for k in ["o","h","l","c"]]
    da=pd.concat([da, d], axis=1)
da=da.ffill()
da.columns

Index(['kos_o', 'kos_h', 'kos_l', 'kos_c', 'kq_o', 'kq_h', 'kq_l', 'kq_c',
       'kl_o', 'kl_h', 'kl_l', 'kl_c', 'ki_o', 'ki_h', 'ki_l', 'ki_c',
       'WonDol_o', 'WonDol_h', 'WonDol_l', 'WonDol_c', 'sam_o', 'sam_h',
       'sam_l', 'sam_c'],
      dtype='object')

설명변수(ind)와 반응변수(de)로 분리하고 설명변수를 표준화합니다. 모델 생성을 위한 훈련(train)세트와 검증(test)세트로 구분합니다.

ind=da.values[:-1,:-1]
de=da.values[1:,-1].reshape(-1,1)
final=da.values[-1, :-1].reshape(1,-1)
indScaler=StandardScaler().fit(ind)
indNor=indScaler.transform(ind)
finalNor=indScaler.transform(final)
Xtr, Xte, ytr, yte=train_test_split(indNor, de, test_size=0.3, random_state=3)
print(finalNor.round(2))

[[ 1.13  1.03  0.97  0.85 -0.19 -0.21 -0.15 -0.26  1.26  1.15  1.14  1.05
  -1.32 -1.23 -1.24 -1.15  1.63  1.78  1.75  1.63  0.75  0.72  0.65]]

RidgeCV() 클래스를 적용하여 모델을 생성합니다.

alphas=np.linspace(0.01, 2, 20)
rid=RidgeCV(alphas=alphas).fit(Xtr, ytr)
a_find=round(rid.alpha_, 3); a_find

0.219

위 결과는 제시한 소멸계수의 범위 중에서 위 클래스에서 반환되는 모델에 적용되는 α값입니다. 구축된 모델을 적용한 훈련과 검정 데이터에서의 결정계수는 다음과 같습니다.

R2_tr=rid.score(Xtr, ytr)
R2_te=rid.score(Xte, yte)
print("R2_tr: %.3f, R2_te: %.3f" %(R2_tr, R2_te))

R2_tr: 0.972, R2_te: 0.970

최종 예측값을 결정하기 위한 설명변수인 finalN에 대응하는 예측과 실제 관측값은 다음과 같습니다.

pre=rid.predict(finalN)
print(pre)

[[73878.21273091]]

da.iloc[-1,-1] #관측값

73500.0

소멸게수인 α를 적용은 다중변수에 의한 다중공선성의 문제를 약화시키기 위한 것입니다. 이 문제는 모델의 일반화 정도로 알아볼 수 있습니다. 즉, 훈련과 검증데이터에 적용 결과의 차이가 작을수록 일반화에 부합하는 모델이 될 것입니다. 이를 알아보기 위해 각 α값에서 훈련과 검증 데이터로부터 산출되는 MSE를 조사합니다. 그림 2는 이 결과를 시각화 한 것입니다.

rmse_tr=[]
rmse_te=[]
for a in alphas:
    m=Ridge(alpha=a).fit(Xtr, ytr)
    pre_tr=m.predict(Xtr)
    rmse_tr1=mean_squared_error(ytr, pre_tr, squared=False)
    rmse_tr.append(rmse_tr1)
    pre_te=m.predict(Xte)
    rmse_te1=mean_squared_error(yte, pre_te, squared=False)
    rmse_te.append(rmse_te1)

그림 2. α에 대응하는 ridge 모델의 MSE의 변화.

plt.figure(figsize=(5,3))
plt.plot(alphas, rmse_tr, color="blue", label="train set")
plt.plot(alphas, rmse_te, color="red", label="test set")
plt.axvline(a_find, linestyle="dotted", color="green", label=f"alpha={a_find}")
plt.xlabel("alpha")
plt.ylabel("RMSE")
plt.legend(loc="best")
plt.grid()
plt.show()