[data analysis] 재귀적 변수제거(recursive features elimination)

재귀적 변수제거(recursive features elimination)

여러개의 설명변수들과 반응변수 사이의 구축되는 다중 회귀모델에서 각 설명변수가 모델에 미치는 영향을 결정할 수 있습니다. 즉, 모든 설명변수를 포함하는 full model에서 각 설명변수에 대응하는 회귀계수의 절대값의 크기로 모델에 주는 영향을 판단할 수 있습니다. 그 영향력의 순위에 따라 변수를 선택합니다. 다음과 같이 변수를 선택합니다.

1. 완전모형(Full model) 구축
2. 가장 낮은 변수 중요도에 대응하는 부분을 제거
3. 2 결과로부터 완전모형을 구축하고 2를 실행
4. 지정한 설명변수의 수가 달성 될 떄까지 3의 과정을 반복

select_feature.RFE(estimator=, n_features_to_select=, step=1) 클래스로 수행합니다. 이 클래스의 인수 중 estimator는 회귀모형입니다.

[변수 중요도(feature_importance)]

변수 중요도는 식 1과 같이 설명변수와 반응변수의 상관계수와 회귀모델에 의해 결정되는 각 변수에 대응하는 회귀계수에 의해 파악할 수 있습니다.

1. 상관계수는 [-1, 1]이므로 이 값으로 영향도의 순위를 정할 수 없습니다. 그러므로 상관계수의 절대값을 기준으로 영향도를 측정합니다.
2. 회귀계수 역시 절대값을 기준으로 합니다.

\begin{align}\tag {식 1} \hat{y}&=b_0+b_1x_1+b_2x_2+ \cdots + b_px_p\\ \text{importance}_i&=\frac{\vert{b_i}\vert}{\sum^p_{i=1} \vert{b_i}\vert} \end{align}

예 1)

코스피지수(kos), 코스탁지수(kq), kodex 레버리지(kl), kodex 인버스(ki), 그리고 원달러환율(WonDol)의 일일 시가, 고가, 저가, 종가(o,h,p,c)들을 설명변수로 사용하여 삼성전자(sam)의 일일 종가를 추정하는 회귀모델을 위해 설명변수를 선택합니다.

이 모델에 적합한 설명변수들을 선택하기 위해 select_feature.RFE() 클래스를 적용하여봅니다.

import numpy as np
import pandas as pd
from scipy import stats
from sklearn import linear_model
from sklearn.preprocessing import StandardScaler, MinMaxScaler
import statsmodels.api as sm
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split
import yfinance as yf
from sklearn import feature_selection
import matplotlib.pyplot as plt
plt.rcParams['font.family'] ='NanumGothic'
plt.rcParams['axes.unicode_minus'] =False

st=pd.Timestamp(2023,1, 10)
et=pd.Timestamp(2024, 9, 13)
code=["^KS11", "^KQ11", "122630.KS", "114800.KS","KRW=X","005930.KS"]
nme=["kos","kq","kl", "ki", "WonDol","sam" ]
da=pd.DataFrame()
for i, j in zip(nme,code):
    d=yf.download(j,st, et)[["Open","High","Low","Close"]]
    d.columns=[i+"_"+k for k in ["o","h","l","c"]]
    da=pd.concat([da, d], axis=1)
da=da.ffill()
da.columns

Index(['kos_o', 'kos_h', 'kos_l', 'kos_c', 'kq_o', 'kq_h', 'kq_l', 'kq_c',
       'kl_o', 'kl_h', 'kl_l', 'kl_c', 'ki_o', 'ki_h', 'ki_l', 'ki_c',
       'WonDol_o', 'WonDol_h', 'WonDol_l', 'WonDol_c', 'sam_o', 'sam_h',
       'sam_l', 'sam_c'],
      dtype='object')

ind=da.values[:-1,:-1]
de=da.values[1:,-1].reshape(-1,1)
final=da.values[-1, :-1].reshape(1,-1)
[i.shape for i in [ind, de, final]]

[(443, 23), (443, 1), (1, 23)]

회귀모델은 sklearn.linear_model.LinearRegression() 클래스를 사용하여 생성합니다. 모델 생성전에 설명변수들을 표준화하였습니다. 또한 설명변수의 증가로 인한 다중공선성의 영향은 모델 구축에 사용된 자료(train data)와 사용되지 않은 자료(test data)들 사이에 결과를 비교하는 것으로 판단할 수 있습니다. 그러므로 train_test_split() 함수에 의해 train과 test를 분리합니다.

indScaler=StandardScaler().fit(ind)
indNor=indScaler.transform(ind)
finalNor=indScaler.transform(final)
Xtr, Xte, ytr, yte=train_test_split(indNor, de, test_size=0.3, random_state=3)
[i.shape for i in [Xtr, Xte]]

[(310, 23), (133, 23)]

선택한 변수들에 따른 모델의 $R^2$, rmse, 그리고 BIC를 비교할 것입니다. 이 비교를 위해 다음 함수를 작성하여 사용합니다(일변량 변수의 선택 참조).

def r_rmse_bic(model, X, y, bicT=True):
    r2=model.score(X,y)
    rmse=mean_squared_error(y, model.predict(X), squared=False)
    if bicT==True:
        las=linear_model.LassoLarsIC(criterion="bic").fit(X, y)
        bic=las.criterion_[-1]
    else:
        bic=np.nan
    return(pd.DataFrame([r2, rmse, bic], index=["R2","RMSE","BIC"]))

m_F=linear_model.LinearRegression().fit(Xtr, ytr)
tr_re=r_rmse_bic(m_F, Xtr, np.ravel(ytr))
te_re=r_rmse_bic(m_F, Xte, np.ravel(yte), bicT=False)
reF=pd.concat([tr_re, te_re], axis=1).round(3)
reF.columns=["Train","Test"]
reF

	Train	Test
R2	0.974	0.955
RMSE	1068.705	1283.008
BIC	5336.669	NaN

RFE() 클래스를 적용하여 높은 순위의 중요도를 가진 5개의 설명변수를 선택하여 모델을 구축합니다.

rfe=feature_selection.RFE(estimator=LinearRegression(), n_features_to_select=5, step=3)
rfe.fit(Xtr, ytr)
print(rfe.support_)

[False False False False False …]

print(rfe.get_feature_names_out())

['x16' 'x19' 'x20' 'x21' 'x22']

선택된 설명변수들과 새로운 회귀모델을 생성하여 함수 r_rmse_bic()를 사용하여 $R^2$, rmse, BIC를 계산합니다.

Xtr_rfe=rfe.transform(Xtr)
Xte_rfe=rfe.transform(Xte)
Xtr_rfe.shape, Xte_rfe.shape

((310, 5), (133, 5))

m5=linear_model.LinearRegression().fit(Xtr_rfe, ytr)
tr_rfe=r_rmse_bic(m5, Xtr_rfe, np.ravel(ytr))
te_rfe=r_rmse_bic(m5, Xte_rfe, np.ravel(yte), bicT=False)
reF=pd.concat([tr_rfe, te_rfe], axis=1).round(3)
reF.columns=["Train","Test"]
reF

	Train	Test
R2	0.972	0.955
RMSE	1119.037	1293.202
BIC	5261.022	NaN

위 결과를 완전모형의 결과와 비교하면 훈련(trian)과 검증(test) 사이의 결정계수와 rmse의 차이, BIC가 감소되었음을 알 수 있습니다.

RFE() 클래스와 같은 기준으로 변수를 선택하는 클래스로 SelectFromeModel(estimator, threshold, max_features,...)를 사용할 수 있습니다. 이 함수는 변수 선택을 위한 임계값(threshold)를 설정합니다. 즉, 변수 중요도(계수의 절대값)가 임계값보다 크거나 같은 경우만 선택됩니다. 또한 모수(회귀 계수)에 패널티 값으로 L1 norm을 지정하는 회귀모델인 Lasso, 또는 L2 norm을 지정하는 ridge를 추정기로 사용할 경우 임계값은 1e-5로 지정됩니다.

다음은 SelectFromeModel()에 의해 설명변수를 선택한 모델에 대해 세개의 통계량을 계산한 것입니다.

selMo=feature_selection.SelectFromModel(estimator=LinearRegression(), threshold="median", max_features=5).fit(Xtr, ytr)
Xtr_sel=selMo.transform(Xtr)
Xte_sel=selMo.transform(Xte)
np.where(selMo.get_support())

(array([ 9, 16, 19, 20, 22], dtype=int64),)

m_sel=linear_model.LinearRegression().fit(Xtr_sel, ytr)
m_sel.coef_

array([[   343.32851966,  94954.15517747, -94755.69749638,
         -1308.88911575,   7271.65548933]])

tr_sel=r_rmse_bic(m_sel, Xtr_sel, np.ravel(ytr))
te_sel=r_rmse_bic(m_sel, Xte_sel, np.ravel(yte), bicT=False)
selre=pd.concat([tr_sel, te_sel], axis=1).round(3)
selre.columns=["Train","Test"]
selre

	Train	Test
R2	0.968	0.953
RMSE	1200.741	1308.569
BIC	5304.714	NaN

위 결과는 완전모형에 비해 모델의 복잡도 측면에서 약간의 개선 효과가 있지만 정확도 측면에서는 불이익이 발생합니다. 그러므로 다양한 조건에서 시행하여 적정한 모델 조건을 발견하는 작업이 이루어져야 할 것입니다.