sons dataStory

Elasticnet 모델 Ridge 와 Lasso 회귀모델 의 차이는 패널티항으로 각각 L2norm과 L1norm을 적용한다는 점입니다( 정규화 참조 ). 이 차이를 결합한 모형을 Elastcnet 모델이라하며 MSE 는 식 1과 같이 계산됩니다. 이 식의 미분에 의해 회귀계수 β를 결정할 수 있습니다. \begin{align}\tag{식 1}\text{MSE}&=(y-X\beta)^T(y-X\beta)+\alpha \left(\lambda \Vert{\beta}\Vert+\frac{1-\lambda}{2}\Vert{\beta}\Vert^2\right)\\ &\alpha:\,\text{소멸계수} \\ &\lambda:\,\text{L1 또는 L2 norm 조정계수}\begin{cases}1&\text{Lasso 모델}\\0&\text{Ridge 모델} \end{cases}\end{align} sklearn.linear_model.ElasticNet() 클래스를 사용하여 모델을 생성할 수 있습니다. 또한 교차검정으로 적정한 α와 L1ration(λ)를 결정하여 모델을 생성하는 ElasticNetCV() 를 사용할 수 있습니다. 예 1) 코스피지수(kos), 코스탁지수(kq), kodex 레버리지(kl), kodex 인버스(ki), 그리고 원달러환율(WonDol)의 일일 시가, 고가, 저가, 종가(o,h,p,c)들을 설명변수로 사용하여 삼성전자(sam)의 일일 종가를 추정하는 Elastic 회귀모델을 생성합니다. import numpy as np import pandas as pd from sklearn.linear_model import ElasticNet, ElasticNetCV from sklearn.datasets import make_regression import yfinance as yf import matplotlib.pyplot as plt st=pd.Timestamp(2023,1, 10) ...

8.4.2 Lasso 모델 Ridge 모델 은 L2 norm(계수의 제곱합)의 패널티 항에 음이 아닌 실수의 소멸계수를 가지므로 회귀계수가 0에 도달할 수 없으므로 변수의 수를 감소시킬 수 없습니다. 대신에 Lasso 모델은 식 1과 같이 패널티항으로 L1 Norm 을 사용하여 일부 회귀계수를 0로 만들 수 있습니다. 그러므로 모델의 복잡성을 약화시킴으로서 다중공선성 문제를 개선시킬 수 있습니다. \begin{align}\tag{식 1} \text{MSE}& = (y − Xβ)^T(y − Xβ) + α\Vert{β}\Vert\\ & X,\, y:\,\text{설명, 반응변수}\\ &\alpha,\;β: \text{소멸계수, 회귀계수} \end{align} 식 1에서 패널티항이 1차이므로 β = 0인 경우는 미분할 수 없습니다. 이 경우 미분 가능하지 않은 볼록함수에 적용할 수 있는 subdifferential(하방미분) 을 적용하여 식 2와 같이 미분을 계산합니다. $$\tag{식 2}\frac{\partial \Vert{\beta}\Vert}{\partial \beta}=\begin{cases}1& \beta \gt 0\\ [-1,\,1]& \beta =0\\ -1 & \beta \lt 0 \end{cases}$$ 식 2를 적용하여 MSE의 최소점을 찾기 위한 미분결과는 식 3과 같습니다. $$\tag{식 3}\frac{\partial \text{MSE}}{\partial \beta}=\begin{cases}-2X^Ty+2X^TX\beta+\alpha=0& \beta \gt 0\\ -2X^Ty+2X^TX\beta+\alpha[-1,\,1]=0& \beta =0\\ -2X^Ty+2X^TX\beta-\alpha=0 & \beta \lt 0 \end{cases}$$ 식 3을 정리하면 Lasso 모델의 회귀계수(β)는 식 4와 같이 계산됩니다. $$\tag{식 4}\beta=\beg...