Elasticnet 모델
Ridge와 Lasso 회귀모델의 차이는 패널티항으로 각각 L2norm과 L1norm을 적용한다는 점입니다(정규화 참조). 이 차이를 결합한 모형을 Elastcnet 모델이라하며 MSE 는 식 1과 같이 계산됩니다. 이 식의 미분에 의해 회귀계수 β를 결정할 수 있습니다.
\begin{align}\tag{식 1}\text{MSE}&=(y-X\beta)^T(y-X\beta)+\alpha \left(\lambda \Vert{\beta}\Vert+\frac{1-\lambda}{2}\Vert{\beta}\Vert^2\right)\\ &\alpha:\,\text{소멸계수} \\ &\lambda:\,\text{L1 또는 L2 norm 조정계수}\begin{cases}1&\text{Lasso 모델}\\0&\text{Ridge 모델} \end{cases}\end{align}
sklearn.linear_model.ElasticNet() 클래스를 사용하여 모델을 생성할 수 있습니다. 또한 교차검정으로 적정한 α와 L1ration(λ)를 결정하여 모델을 생성하는 ElasticNetCV()를 사용할 수 있습니다.
예 1)
코스피지수(kos), 코스탁지수(kq), kodex 레버리지(kl), kodex 인버스(ki), 그리고 원달러환율(WonDol)의 일일 시가, 고가, 저가, 종가(o,h,p,c)들을 설명변수로 사용하여 삼성전자(sam)의 일일 종가를 추정하는 Elastic 회귀모델을 생성합니다.
import numpy as np import pandas as pd from sklearn.linear_model import ElasticNet, ElasticNetCV from sklearn.datasets import make_regression import yfinance as yf import matplotlib.pyplot as plt
st=pd.Timestamp(2023,1, 10)
et=pd.Timestamp(2024, 5, 31)
code=["^KS11", "^KQ11", "122630.KS", "114800.KS","KRW=X","005930.KS"]
nme=["kos","kq","kl", "ki", "WonDol","sam" ]
da=pd.DataFrame()
for i, j in zip(nme,code):
d=yf.download(j,st, et)[["Open","High","Low","Close"]]
d.columns=[i+"_"+k for k in ["o","h","l","c"]]
da=pd.concat([da, d], axis=1)
da=da.ffill()
da.columns
Index(['kos_o', 'kos_h', 'kos_l', 'kos_c', 'kq_o', 'kq_h', 'kq_l', 'kq_c',
'kl_o', 'kl_h', 'kl_l', 'kl_c', 'ki_o', 'ki_h', 'ki_l', 'ki_c',
'WonDol_o', 'WonDol_h', 'WonDol_l', 'WonDol_c', 'sam_o', 'sam_h',
'sam_l', 'sam_c'],
dtype='object')
설명변수(ind)와 반응변수(de)로 분리하고 설명변수를 표준화합니다. 모델 생성을 위한 훈련(train)세트와 검증(test)세트로 구분합니다.
ind=da.values[:-1,:-1] de=da.values[1:,-1].reshape(-1,1) final=da.values[-1, :-1].reshape(1,-1) indScaler=StandardScaler().fit(ind) indNor=indScaler.transform(ind) finalNor=indScaler.transform(final) Xtr, Xte, ytr, yte=train_test_split(indNor, de, test_size=0.3, random_state=3) print(finalNor.round(2))
[[ 1.13 1.03 0.97 0.85 -0.19 -0.21 -0.15 -0.26 1.26 1.15 1.14 1.05 -1.32 -1.23 -1.24 -1.15 1.63 1.78 1.75 1.63 0.75 0.72 0.65]]
ytr1=np.ravel(ytr)
yte1=np.ravel(yte)
elastic=ElasticNetCV(cv=5, random_state=3).fit(Xtr, ytr1)
print("alpha: %.3f, l1ratio: %.3f" %(elastic.alpha_, elastic.l1_ratio_))
alpha: 10.855, l1ratio: 0.500
R2_tr=elastic.score(Xtr, ytr)
R2_te=elastic.score(Xte, yte)
print("R2_tr: %.3f, R2_te: %.3f" %(R2_tr, R2_te))
R2_tr: 0.775, R2_te: 0.756
pre=elastic.predict(finalNor) print(pre)
[74762.75294077]
예 2)
A, B, C, D 일일 시가, 고가, 저가, 종가 자료로부터 1일전 자료를 설명변수로 하고 당일 D의 종가를 반응변수로 하는 회귀모델과 ridge, Lasso, ElasticNet 회귀모델의 차이를 알아봅니다.
일정기간 동안 위 4개의 주가에 대한 데이터는 다음과 같이 호출하였습니다.
st=pd.Timestamp(2020,4, 10)
et=pd.Timestamp(2024, 9, 27)
code=["^KS11", "122630.KS", "114800.KS","005930.KS"]
nme=["A","B", "C","D" ]
da=pd.DataFrame()
for i, j in zip(nme,code):
d=yf.download(j,st, et)[["Open","High","Low","Close"]]
d.columns=[i+"_"+k for k in ["o","h","l","c"]]
da=pd.concat([da, d], axis=1)
da=da.ffill()
da.columns
Index(['A_o', 'A_h', 'A_l', 'A_c', 'B_o', 'B_h', 'B_l', 'B_c', 'C_o', 'C_h',
'C_l', 'C_c', 'D_o', 'D_h', 'D_l', 'D_c'],
dtype='object')
위 자료의 D_c를 반응변수로 하고 설명변수에 비해 1일 후 값을 추정하기 위한 모델을 생성합니다. 설명변수, 반응변수를 다음과 같이 설정하고 설명변수는 표준화하였습니다. 또한 각 변수들을 훈련과 검증세트로 분리하였습니다. 설명변수의 마지막 행의 값들은 최종 추정을 위해 별도로 저장하였습니다.
ind=da.values[:-1,:-1] de=da.values[1:,-1].reshape(-1,1) final=da.values[-1, :-1].reshape(1,-1) indScaler=StandardScaler().fit(ind) indNor=indScaler.transform(ind) finalNor=indScaler.transform(final) Xtr, Xte, ytr, yte=train_test_split(indNor, de, test_size=0.3, random_state=3) print(finalNor.round(3))
[[-0.027 0.056 0.026 0.106 -0.357 -0.286 -0.31 -0.241 -0.344 -0.389 -0.409 -0.449 -0.568 -0.521 -0.528]]
위 데이터에 대한 OLS, RidgeCV(), LassoCV(), ElasticnetCV() 클래스를 적용하여 각각의 모델을 생성합니다.
from sklearn.linear_model import LinearRegression,RidgeCV, LassoCV ,ElasticNetCV
ytr1, yte1=np.ravel(ytr), np.ravel(yte) mOls=LinearRegression().fit(Xtr, ytr1) mRid=RidgeCV().fit(Xtr, ytr1) mLas=LassoCV(random_state=9).fit(Xtr, ytr1) mEls=ElasticNetCV(random_state=9).fit(Xtr,ytr1)
설정된 각 모델의 train과 test 데이터에서의 R2, MSE, 그리고 최종 추정을 위한 설명변수(finalNor)에 대한 추정치를 계산합니다. 각각 메소드 .score(), sklearn.metrics.mean_squared_error(y, y_pre) 함수와 메소드 .predict()를 사용합니다.
n_tr, n_te=len(Xtr), len(Xte)
nme=["OLS","Ridge","Lasso","ElasticNet"]
model=[mOls, mRid, mLas, mEls]
R2={}
mse={}
pre={}
for i, j in enumerate(model):
pre_tr, pre_te=j.predict(Xtr), j.predict(Xte)
R2[nme[i]]=[j.score(Xtr, ytr), j.score(Xte, yte)]
mse[nme[i]]=[mean_squared_error(ytr, pre_tr, squared=False), mean_squared_error(yte, pre_te, squared=False)]
pre[nme[i]]=j.predict(finalNor)
MSE=pd.DataFrame.from_dict(mse).T
MSE.columns=["train", 'test']
MSE.round(4)
| train | test | |
|---|---|---|
| OLS | 1151.1508 | 1024.8540 |
| Ridge | 1154.7074 | 1008.3479 |
| Lasso | 1230.5463 | 993.6194 |
| ElasticNet | 5051.3584 | 4935.3549 |
R2df=pd.DataFrame.from_dict(R2).T R2df.columns=["train", 'test'] R2df.round(4)
| train | test | |
|---|---|---|
| OLS | 0.9856 | 0.9887 |
| Ridge | 0.9855 | 0.9890 |
| Lasso | 0.9835 | 0.9893 |
| ElasticNet | 0.7227 | 0.7369 |
위 코드의 결과 중의 하나인 각 모델에 의한 최종 설명변수들(finalNor)에 대응되는 예측치(pre)와 관측치는 다음과 같습니다.
pre=np.array([da.iloc[-1:,-1:].values])
for i in [mOls, mRid, mLas, mEls]:
pre=np.append(pre, i.predict(finalNor))
pre=pd.DataFrame(pre, index=["observed", "mOls", "mRid", "mLas", "mEls"]).T
pre.round(0)
| observed | mOls | mRid | mLas | mEls | |
|---|---|---|---|---|---|
| 0 | 64700.0 | 64753.0 | 64791.0 | 64432.0 | 68855.0 |
위 결과는 각 모델간의 현격한 차이를 나타내지 못합니다. 오히려 모든 설명변수들을 적용하는 OLS의 모델이 가장 적합한 것으로 보입니다. 이것은 설명변수들과 반응변수들간의 상관성에 큰 차이를 보이지 않은 것으로 설명변수의 선택에 대한 효과가 거의 없음을 나타냅니다. 결과적으로 Ridge, Lasso, Elasticnet등의 정규화된 모델의 경우 각 설명변수가 반응변수에 미치는 영향에 차이가 있는 경우에 적용되어야 합니다.
corRe=pd.DataFrame(Xtr).corr() corRe[0]
0 1.000000 1 0.999048 2 0.998479 3 0.997343 4 0.985731 5 0.983490 6 0.985552 7 0.983312 8 -0.902964 9 -0.900289 10 -0.903555 11 -0.901102 12 0.864009 13 0.860079 14 0.866929 Name: 0, dtype: float64
댓글
댓글 쓰기