[data analysis] 분산에 의한 설명변수 선택

분산에 의한 설명변수 선택

회귀모델 등의 모델에서 중요한 특징(feature) 즉, 설명변수는 반응변수(라벨, label)와의 강한 상관관계로 예측에 영향이 큰 변수를 의미합니다. 그러나 반응변수와의 상관성에 관계없이 특징 자체의 변동성이 크지 않다면 예측에 큰 도움이 되지 않을 가능성을 배제할 수 없습니다. 그러므로 분산 기준치보다 작은 분산을 가진 특징은 모델에서 제외할 수 있습니다. 다시말하자면 분산에 의해 특징(feature)을 선택할 수 있습니다.

sklearn.feature_selection.VarianceThreshold() 클래스를 적용합니다. 이 방법은 특징의 분산을 기준으로 하기 때문에 반응변수와의 상관성 정도는 고려되지 않는다는 점을 주의해야 합니다.

예 1)

코스피지수(kos), 코스탁지수(kq), kodex 레버리지(kl), kodex 인버스(ki), 그리고 원달러환율(WonDol)의 일일 시가, 고가, 저가, 종가(o,h,p,c)들을 설명변수로 사용하여 삼성전자(sam)의 일일 종가를 추정하는 회귀모델을 위해 설명변수를 선택합니다.

이 모델에 적합한 설명변수들을 선택하기 위해 sklearn.feature_selection 모듈의 여러 클래스를 적용하여봅니다.

import numpy as np
import numpy.linalg as la
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler, MinMaxScaler
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split
from sklearn.model_selection import KFold
import yfinance as yf

st=pd.Timestamp(2023,1, 10)
et=pd.Timestamp(2024, 9, 13)
code=["^KS11", "^KQ11", "122630.KS", "114800.KS","KRW=X","005930.KS"]
nme=["kos","kq","kl", "ki", "WonDol","sam" ]
da=pd.DataFrame()
for i, j in zip(nme,code):
    d=yf.download(j,st, et)[["Open","High","Low","Close"]]
    d.columns=[i+"_"+k for k in ["o","h","l","c"]]
    da=pd.concat([da, d], axis=1)
da=da.ffill()
da.columns

Index(['kos_o', 'kos_h', 'kos_l', 'kos_c', 'kq_o', 'kq_h', 'kq_l', 'kq_c',
       'kl_o', 'kl_h', 'kl_l', 'kl_c', 'ki_o', 'ki_h', 'ki_l', 'ki_c',
       'WonDol_o', 'WonDol_h', 'WonDol_l', 'WonDol_c', 'sam_o', 'sam_h',
       'sam_l', 'sam_c'],
      dtype='object')

resNme="sam_c"
X=da.drop(columns=resNme).iloc[:-1,:]
y=pd.DataFrame(da[resNme][1:])
new=pd.DataFrame(da.drop(columns=resNme).iloc[-1,:]).T
# 설명변수 scaling
XScaler=MinMaxScaler().fit(X)
X_n=XScaler.transform(X)
new_n=XScaler.transform(new)
#훈련, 검증셋의 분리 
Xtr, Xte, ytr, yte=train_test_split(X_n,y, test_size=0.2, random_state=0)
Xtr.shape, Xte.shape

((349, 23), (349, 1))

모든 설명변수를 사용하는 Full model을 생성합니다. 이 모델의 $R^2$와 mse를 계산합니다.

mFull=LinearRegression().fit(Xtr, ytr)
R2_tr, mse_tr=mFull.score(Xtr, ytr), mean_squared_error(ytr, mFull.predict(Xtr))
R2_te, mse_te=mFull.score(Xte, yte), mean_squared_error(yte, mFull.predict(Xte))

설명변수 각각의 분산을 계산하고 모든 분산 자료에서 25%에 해당하는 값을 계산합니다.

varAll=Xtr.var(axis=0)
s=np.quantile(varAll, 0.25)
s.round(4)s

0.0413

위 결과를 VarianceThreshold(threshold) 클래스의 threshold 값으로 지정합니다. 이 값의 특별한 기준이 존재하지 않으며 기본값은 0입니다. 이러한 객체의 실행을 위해 선행적으로 지정하는 하이퍼 매개변수(hyper-parameter)는 모델 구축의 목적과 배경등을 고려하여 반복 실행에 의해 적절한 값을 도출해야 합니다.

from sklearn.feature_selection import VarianceThreshold
selector=VarianceThreshold(threshold = s)
seltr=selector.fit_transform(Xtr)
selte=selector.transform(Xte)
seltr.shape, selte.shape

((349, 17), (88, 17))

print(selector.get_support())

[False  True False False  True False False  True  True  True  True  True
  True  True  True  True  True False  True  True  True  True  True]

위 결과를 기준으로 선택된 설명변수에 의한 모델을 작성하고 그 모델에의한 $R^2$와 mse를 계산합니다.

m=LinearRegression().fit(seltr, ytr)
R2_tr1, mse_tr1=m.score(seltr, ytr), mean_squared_error(ytr, m.predict(seltr))
R2_te1, mse_te1=m.score(selte, yte), mean_squared_error(yte, m.predict(selte))

다음은 위 결과들을 표로 작성하기 위해 dictionary 형식등을 적용한 것입니다.

re={"Full ": pd.DataFrame([[R2_tr, mse_tr],[R2_te, mse_te]], columns=["R2", "MSE"]), "Select ": pd.DataFrame([[R2_tr1, mse_tr1],[R2_te1, mse_te1]], columns=["R2", "MSE"])}; re

{'Full ':          R2           MSE
 0  0.968250  1.287398e+06
 1  0.973961  1.239222e+06,
 'Select ':          R2           MSE
 0  0.967796  1.305811e+06
 1  0.972942  1.287699e+06}

k=list(re.keys())
total=pd.concat([re[k[0]], re[k[1]]])
total.index=["full-tr","full-te", 'sel-tr','sel-te']
total

	R2	MSE
full-tr	0.968250	1.287398e+06
full-te	0.973961	1.239222e+06
sel-tr	0.967796	1.305811e+06
sel-te	0.972942	1.287699e+06

full 모델에서 훈련세트와 검정세트 간의 $R^2$, mse의 변화비율, 선택 모델에서 같은 변화비율을 계산합니다. 먼저 $R^2$의 변화비율입니다.

round((total.iloc[1,0]-total.iloc[0,0])/total.iloc[0,0]*100, 3), round((total.iloc[3,0]-total.iloc[2,0])/total.iloc[2,0]*100, 3)

(0.59, 0.532)

round((total.iloc[1,1]-total.iloc[0,1])/total.iloc[0,1]*100,3), round((total.iloc[3,1]-total.iloc[2,1])/total.iloc[2,1]*100,3)

(-3.742, -1.387)

분산에 의해 6개의 설명변수가 제거된 모델에서 $R^2$, mse의 차이가 감소된 결과를 나타냅니다. 그러나 위 변화는 매우 작으며 변수 제거에 효과가 있다고 하기는 어렵지만 설명변수의 수가 감소된 것으로 과적합이나 다중상관성을 감소시킬수 있습니다.