[data analysis] Lasso 회귀모델

8.4.2 Lasso 모델

Ridge 모델은 L2 norm(계수의 제곱합)의 패널티 항에 음이 아닌 실수의 소멸계수를 가지므로 회귀계수가 0에 도달할 수 없으므로 변수의 수를 감소시킬 수 없습니다. 대신에 Lasso 모델은 식 1과 같이 패널티항으로 L1 Norm을 사용하여 일부 회귀계수를 0로 만들 수 있습니다. 그러므로 모델의 복잡성을 약화시킴으로서 다중공선성 문제를 개선시킬 수 있습니다.

$$\begin{array}{rl}\text{(식 1)}& \text{MSE}& \hspace{0.5em}=\hspace{0.5em}(y-X\beta {)}^T(y-X\beta )+\alpha \Vert \beta \Vert & X,y:\text{설명, 반응변수}\\ & \alpha ,\beta :\text{소멸계수, 회귀계수}\end{array}$$

식 1에서 패널티항이 1차이므로 β = 0인 경우는 미분할 수 없습니다. 이 경우 미분 가능하지 않은 볼록함수에 적용할 수 있는 subdifferential(하방미분)을 적용하여 식 2와 같이 미분을 계산합니다.

$$\begin{array}{}\text{(식 2)}& \frac{\partial \Vert \beta \Vert }{\partial \beta }=\{\begin{array}{ll}1& \beta >0\\ [-1,1]& \beta =0\\ -1& \beta <0\end{array}\end{array}$$

식 2를 적용하여 MSE의 최소점을 찾기 위한 미분결과는 식 3과 같습니다.

$$\begin{array}{}\text{(식 3)}& \frac{\partial \text{MSE}}{\partial \beta }=\{\begin{array}{ll}-2X^{T}y+2X^{T}X\beta +\alpha =0& \beta >0\\ -2X^{T}y+2X^{T}X\beta +\alpha [-1,1]=0& \beta =0\\ -2X^{T}y+2X^{T}X\beta -\alpha =0& \beta <0\end{array}\end{array}$$

식 3을 정리하면 Lasso 모델의 회귀계수(β)는 식 4와 같이 계산됩니다.

$$\begin{array}{}\text{(식 4)}& \beta =\{\begin{array}{ll}{\beta }_{\text{ols}}-\frac{1}{2}(X^{T}X)\alpha & \beta >0\\ {\beta }_{\text{ols}}-\frac{1}{2}(X^{T}X)\alpha [-1,1]& \beta =0\\ {\beta }_{\text{ols}}+\frac{1}{2}(X^{T}X)\alpha & \beta <0\end{array}\end{array}$$

OLS 회귀계수를 기준으로 α의 조건에 따라 계수를 0으로 만들수 있습니다. 결과적으로 변수를 제거하여 모델의 복잡도는 감소시킬 수 있습니다.

sklearn.linear_model.Lasso() 클래스를 사용하여 모델을 구축할 수 있습니다. 임의의 가상데이터를 사용하여 α에 따른 설명변수의 변화는 다음과 같습니다.

import numpy as np
import pandas as pd
from sklearn.linear_model import Lasso, LassoCV
from sklearn.datasets import make_regression
import yfinance as yf
import matplotlib.pyplot as plt

X,y=make_regression(noise=0.5, random_state=7)
alphas=np.linspace(0.001, 50, 100)
coefs=[]
for a in alphas:
    m=Lasso(alpha=a).fit(X,y)
    cf=m.coef_
    coefs.append(cf)

그림1. α에 따른 lasso 모델 회귀계수의 변화.

plt.figure(figsize=(5, 3))
plt.plot(alphas, coefs)
plt.xlabel("alpha")
plt.ylabel("coeficients")
plt.title("Trend of coefficient by alpha")
plt.show()

그림 1에서 나타낸 것과 같이 α가 증가할수록 각 변수에 대응하는 회귀계수의 값은 감소하며 그 결과로 수 역시 감소합니다. ridge 모델과 같이 lasso 모델 역시 α의 선정이 중요하며 sklean.linear_models.LassoCV() 클래스를 적용할 수 있습니다.

예 1)

코스피지수(kos), 코스탁지수(kq), kodex 레버리지(kl), kodex 인버스(ki), 그리고 원달러환율(WonDol)의 일일 시가, 고가, 저가, 종가(o,h,p,c)들을 설명변수로 사용하여 삼성전자(sam)의 일일 종가를 추정하는 Lasso 회귀모델을 생성합니다.

st=pd.Timestamp(2023,1, 10)
et=pd.Timestamp(2024, 5, 31)
code=["^KS11", "^KQ11", "122630.KS", "114800.KS","KRW=X","005930.KS"]
nme=["kos","kq","kl", "ki", "WonDol","sam" ]
da=pd.DataFrame()
for i, j in zip(nme,code):
    d=yf.download(j,st, et)[["Open","High","Low","Close"]]
    d.columns=[i+"_"+k for k in ["o","h","l","c"]]
    da=pd.concat([da, d], axis=1)
da=da.ffill()
da.columns

Index(['kos_o', 'kos_h', 'kos_l', 'kos_c', 'kq_o', 'kq_h', 'kq_l', 'kq_c',
       'kl_o', 'kl_h', 'kl_l', 'kl_c', 'ki_o', 'ki_h', 'ki_l', 'ki_c',
       'WonDol_o', 'WonDol_h', 'WonDol_l', 'WonDol_c', 'sam_o', 'sam_h',
       'sam_l', 'sam_c'],
      dtype='object')

설명변수(ind)와 반응변수(de)로 분리하고 설명변수를 표준화합니다. 모델 생성을 위한 훈련(train)세트와 검증(test)세트로 구분합니다.

ind=da.values[:-1,:-1]
de=da.values[1:,-1].reshape(-1,1)
final=da.values[-1, :-1].reshape(1,-1)
indScaler=StandardScaler().fit(ind)
indNor=indScaler.transform(ind)
finalNor=indScaler.transform(final)
Xtr, Xte, ytr, yte=train_test_split(indNor, de, test_size=0.3, random_state=3)
print(finalNor.round(2))

[[ 1.13  1.03  0.97  0.85 -0.19 -0.21 -0.15 -0.26  1.26  1.15  1.14  1.05
  -1.32 -1.23 -1.24 -1.15  1.63  1.78  1.75  1.63  0.75  0.72  0.65]]

LassoCV() 클래스를 적용하여 적정한 α를 발견합니다.

ytr1=np.ravel(ytr)
yte1=np.ravel(yte)
las=LassoCV(cv=5, random_state=3).fit(Xtr, ytr1)
a_find=las.alpha_; a_find.round(4)

5.4274

위 모델에서 사용된 변수는 다음과 같습니다. 즉, 총 23개의 설명변수 중 9개만이 사용되었습니다.

coefIdx=np.where(las.coef_ !=0)[0]
usingFeature=da.columns[coefIdx];usingFeature

Index(['kos_h', 'kq_o', 'WonDol_o', 'WonDol_h', 'WonDol_l', 'WonDol_c',
       'sam_o', 'sam_h', 'sam_l'],
      dtype='object')

len(usingFeature)

9

pre=las.predict(finalNor)
print(pre)

[73963.82167589]

위의 α의 범위 alphas에서의 각 모델의 MSE의 변화를 살펴봅니다.

alphas=np.linspace(0.01, 10, 100)
rmse_tr=[]
rmse_te=[]
for a in alphas:
    m=Lasso(alpha=a).fit(Xtr, ytr1)
    pre_tr=m.predict(Xtr)
    rmse_tr1=mean_squared_error(ytr1, pre_tr, squared=False)
    rmse_tr.append(rmse_tr1)
    pre_te=m.predict(Xte)
    rmse_te1=mean_squared_error(yte1, pre_te, squared=False)
    rmse_te.append(rmse_te1)

그림 2. α에 대응하는 lasso 모델의 MSE의 변화.

plt.figure(figsize=(5,3))
plt.plot(alphas, rmse_tr, color="blue", label="train set")
plt.plot(alphas, rmse_te, color="red", label="test set")
plt.axvline(a_find, linestyle="dotted", color="green", label=f"alpha={round(a_find, 3)}")
plt.xlabel("alpha")
plt.ylabel("RMSE")
plt.legend(loc="best")
plt.grid()
plt.show()

그림 2에 의하면 α의 증가에 의해 훈련데이터의 MSE는 감소하지만 검정데이터에서 계속 증가를 보이지만 두 그룹의 차이가 감소합니다. 이러한 경향에서 LassoCV()에 의한 모델은 두 그룹의 MSE의 변화와 그 차이를 고려한 것입니다.