sons dataStory

8.4.2 Lasso 모델 Ridge 모델 은 L2 norm(계수의 제곱합)의 패널티 항에 음이 아닌 실수의 소멸계수를 가지므로 회귀계수가 0에 도달할 수 없으므로 변수의 수를 감소시킬 수 없습니다. 대신에 Lasso 모델은 식 1과 같이 패널티항으로 L1 Norm 을 사용하여 일부 회귀계수를 0로 만들 수 있습니다. 그러므로 모델의 복잡성을 약화시킴으로서 다중공선성 문제를 개선시킬 수 있습니다. \begin{align}\tag{식 1} \text{MSE}& = (y − Xβ)^T(y − Xβ) + α\Vert{β}\Vert\\ & X,\, y:\,\text{설명, 반응변수}\\ &\alpha,\;β: \text{소멸계수, 회귀계수} \end{align} 식 1에서 패널티항이 1차이므로 β = 0인 경우는 미분할 수 없습니다. 이 경우 미분 가능하지 않은 볼록함수에 적용할 수 있는 subdifferential(하방미분) 을 적용하여 식 2와 같이 미분을 계산합니다. $$\tag{식 2}\frac{\partial \Vert{\beta}\Vert}{\partial \beta}=\begin{cases}1& \beta \gt 0\\ [-1,\,1]& \beta =0\\ -1 & \beta \lt 0 \end{cases}$$ 식 2를 적용하여 MSE의 최소점을 찾기 위한 미분결과는 식 3과 같습니다. $$\tag{식 3}\frac{\partial \text{MSE}}{\partial \beta}=\begin{cases}-2X^Ty+2X^TX\beta+\alpha=0& \beta \gt 0\\ -2X^Ty+2X^TX\beta+\alpha[-1,\,1]=0& \beta =0\\ -2X^Ty+2X^TX\beta-\alpha=0 & \beta \lt 0 \end{cases}$$ 식 3을 정리하면 Lasso 모델의 회귀계수(β)는 식 4와 같이 계산됩니다. $$\tag{식 4}\beta=\beg...