[data analysis] Elasticnet 모델

Elasticnet 모델

Ridge와 Lasso 회귀모델의 차이는 패널티항으로 각각 L2norm과 L1norm을 적용한다는 점입니다(정규화 참조). 이 차이를 결합한 모형을 Elastcnet 모델이라하며 MSE 는 식 1과 같이 계산됩니다. 이 식의 미분에 의해 회귀계수 β를 결정할 수 있습니다.

\begin{align}\tag{식 1}\text{MSE}&=(y-X\beta)^T(y-X\beta)+\alpha \left(\lambda \Vert{\beta}\Vert+\frac{1-\lambda}{2}\Vert{\beta}\Vert^2\right)\\ &\alpha:\,\text{소멸계수} \\ &\lambda:\,\text{L1 또는 L2 norm 조정계수}\begin{cases}1&\text{Lasso 모델}\\0&\text{Ridge 모델} \end{cases}\end{align}

sklearn.linear_model.ElasticNet() 클래스를 사용하여 모델을 생성할 수 있습니다. 또한 교차검정으로 적정한 α와 L1ration(λ)를 결정하여 모델을 생성하는 ElasticNetCV()를 사용할 수 있습니다.

예 1)

코스피지수(kos), 코스탁지수(kq), kodex 레버리지(kl), kodex 인버스(ki), 그리고 원달러환율(WonDol)의 일일 시가, 고가, 저가, 종가(o,h,p,c)들을 설명변수로 사용하여 삼성전자(sam)의 일일 종가를 추정하는 Elastic 회귀모델을 생성합니다.

import numpy as np
import pandas as pd
from sklearn.linear_model import ElasticNet, ElasticNetCV
from sklearn.datasets import make_regression
import yfinance as yf
import matplotlib.pyplot as plt

st=pd.Timestamp(2023,1, 10)
et=pd.Timestamp(2024, 5, 31)
code=["^KS11", "^KQ11", "122630.KS", "114800.KS","KRW=X","005930.KS"]
nme=["kos","kq","kl", "ki", "WonDol","sam" ]
da=pd.DataFrame()
for i, j in zip(nme,code):
    d=yf.download(j,st, et)[["Open","High","Low","Close"]]
    d.columns=[i+"_"+k for k in ["o","h","l","c"]]
    da=pd.concat([da, d], axis=1)
da=da.ffill()
da.columns

Index(['kos_o', 'kos_h', 'kos_l', 'kos_c', 'kq_o', 'kq_h', 'kq_l', 'kq_c',
       'kl_o', 'kl_h', 'kl_l', 'kl_c', 'ki_o', 'ki_h', 'ki_l', 'ki_c',
       'WonDol_o', 'WonDol_h', 'WonDol_l', 'WonDol_c', 'sam_o', 'sam_h',
       'sam_l', 'sam_c'],
      dtype='object')

설명변수(ind)와 반응변수(de)로 분리하고 설명변수를 표준화합니다. 모델 생성을 위한 훈련(train)세트와 검증(test)세트로 구분합니다.

ind=da.values[:-1,:-1]
de=da.values[1:,-1].reshape(-1,1)
final=da.values[-1, :-1].reshape(1,-1)
indScaler=StandardScaler().fit(ind)
indNor=indScaler.transform(ind)
finalNor=indScaler.transform(final)
Xtr, Xte, ytr, yte=train_test_split(indNor, de, test_size=0.3, random_state=3)
print(finalNor.round(2))

[[ 1.13  1.03  0.97  0.85 -0.19 -0.21 -0.15 -0.26  1.26  1.15  1.14  1.05
  -1.32 -1.23 -1.24 -1.15  1.63  1.78  1.75  1.63  0.75  0.72  0.65]]

ytr1=np.ravel(ytr)
yte1=np.ravel(yte)
elastic=ElasticNetCV(cv=5, random_state=3).fit(Xtr, ytr1)
print("alpha: %.3f, l1ratio: %.3f" %(elastic.alpha_, elastic.l1_ratio_))

alpha: 10.855, l1ratio: 0.500

R2_tr=elastic.score(Xtr, ytr)
R2_te=elastic.score(Xte, yte)
print("R2_tr: %.3f, R2_te: %.3f" %(R2_tr, R2_te))

R2_tr: 0.775, R2_te: 0.756

pre=elastic.predict(finalNor)
print(pre)

[74762.75294077]

예 2)

A, B, C, D 일일 시가, 고가, 저가, 종가 자료로부터 1일전 자료를 설명변수로 하고 당일 D의 종가를 반응변수로 하는 회귀모델과 ridge, Lasso, ElasticNet 회귀모델의 차이를 알아봅니다.

일정기간 동안 위 4개의 주가에 대한 데이터는 다음과 같이 호출하였습니다.

st=pd.Timestamp(2020,4, 10)
et=pd.Timestamp(2024, 9, 27)
code=["^KS11", "122630.KS", "114800.KS","005930.KS"]
nme=["A","B", "C","D" ]
da=pd.DataFrame()
for i, j in zip(nme,code):
    d=yf.download(j,st, et)[["Open","High","Low","Close"]]
    d.columns=[i+"_"+k for k in ["o","h","l","c"]]
    da=pd.concat([da, d], axis=1)
da=da.ffill()
da.columns

Index(['A_o', 'A_h', 'A_l', 'A_c', 'B_o', 'B_h', 'B_l', 'B_c', 'C_o', 'C_h',
       'C_l', 'C_c', 'D_o', 'D_h', 'D_l', 'D_c'],
      dtype='object')

위 자료의 D_c를 반응변수로 하고 설명변수에 비해 1일 후 값을 추정하기 위한 모델을 생성합니다. 설명변수, 반응변수를 다음과 같이 설정하고 설명변수는 표준화하였습니다. 또한 각 변수들을 훈련과 검증세트로 분리하였습니다. 설명변수의 마지막 행의 값들은 최종 추정을 위해 별도로 저장하였습니다.

ind=da.values[:-1,:-1]
de=da.values[1:,-1].reshape(-1,1)
final=da.values[-1, :-1].reshape(1,-1)
indScaler=StandardScaler().fit(ind)
indNor=indScaler.transform(ind)
finalNor=indScaler.transform(final)
Xtr, Xte, ytr, yte=train_test_split(indNor, de, test_size=0.3, random_state=3)
print(finalNor.round(3))

[[-0.027  0.056  0.026  0.106 -0.357 -0.286 -0.31  -0.241 -0.344 -0.389
  -0.409 -0.449 -0.568 -0.521 -0.528]]

위 데이터에 대한 OLS, RidgeCV(), LassoCV(), ElasticnetCV() 클래스를 적용하여 각각의 모델을 생성합니다.

from sklearn.linear_model import LinearRegression,RidgeCV, LassoCV ,ElasticNetCV

ytr1, yte1=np.ravel(ytr), np.ravel(yte)
mOls=LinearRegression().fit(Xtr, ytr1)
mRid=RidgeCV().fit(Xtr, ytr1)
mLas=LassoCV(random_state=9).fit(Xtr, ytr1)
mEls=ElasticNetCV(random_state=9).fit(Xtr,ytr1)

설정된 각 모델의 train과 test 데이터에서의 R², MSE, 그리고 최종 추정을 위한 설명변수(finalNor)에 대한 추정치를 계산합니다. 각각 메소드 .score(), sklearn.metrics.mean_squared_error(y, y_pre) 함수와 메소드 .predict()를 사용합니다.

n_tr, n_te=len(Xtr), len(Xte)
nme=["OLS","Ridge","Lasso","ElasticNet"]
model=[mOls, mRid, mLas, mEls]
R2={}
mse={}
pre={}
for i, j in enumerate(model):
    pre_tr, pre_te=j.predict(Xtr), j.predict(Xte)
    R2[nme[i]]=[j.score(Xtr, ytr), j.score(Xte, yte)]
    mse[nme[i]]=[mean_squared_error(ytr, pre_tr, squared=False), mean_squared_error(yte, pre_te, squared=False)]
    pre[nme[i]]=j.predict(finalNor)
MSE=pd.DataFrame.from_dict(mse).T
MSE.columns=["train", 'test']
MSE.round(4)

	train	test
OLS	1151.1508	1024.8540
Ridge	1154.7074	1008.3479
Lasso	1230.5463	993.6194
ElasticNet	5051.3584	4935.3549

R2df=pd.DataFrame.from_dict(R2).T
R2df.columns=["train", 'test']
R2df.round(4)

	train	test
OLS	0.9856	0.9887
Ridge	0.9855	0.9890
Lasso	0.9835	0.9893
ElasticNet	0.7227	0.7369

위 코드의 결과 중의 하나인 각 모델에 의한 최종 설명변수들(finalNor)에 대응되는 예측치(pre)와 관측치는 다음과 같습니다.

pre=np.array([da.iloc[-1:,-1:].values])
for i in [mOls, mRid, mLas, mEls]:
    pre=np.append(pre, i.predict(finalNor))
pre=pd.DataFrame(pre,  index=["observed", "mOls", "mRid", "mLas", "mEls"]).T
pre.round(0)

	observed	mOls	mRid	mLas	mEls
0	64700.0	64753.0	64791.0	64432.0	68855.0

위 결과는 각 모델간의 현격한 차이를 나타내지 못합니다. 오히려 모든 설명변수들을 적용하는 OLS의 모델이 가장 적합한 것으로 보입니다. 이것은 설명변수들과 반응변수들간의 상관성에 큰 차이를 보이지 않은 것으로 설명변수의 선택에 대한 효과가 거의 없음을 나타냅니다. 결과적으로 Ridge, Lasso, Elasticnet등의 정규화된 모델의 경우 각 설명변수가 반응변수에 미치는 영향에 차이가 있는 경우에 적용되어야 합니다.

corRe=pd.DataFrame(Xtr).corr()
corRe[0]

0     1.000000
1     0.999048
2     0.998479
3     0.997343
4     0.985731
5     0.983490
6     0.985552
7     0.983312
8    -0.902964
9    -0.900289
10   -0.903555
11   -0.901102
12    0.864009
13    0.860079
14    0.866929
Name: 0, dtype: float64