[data analysis] Scaling

Scaling

데이터의 각 변수의 스케일은 다양할 수 있기 때문에 전체 데이터의 스케일을 통일시킬 필요가 있습니다. 이러한 과정을 스케일링(scaling) 이라고 합니다.

일반적으로 모든 변수를 [0, 1]사이로 스케일을 조정 합니다. 이러한 과정은 sklearn 라이브러리의 MinMaxScaler() 또는 MaxAbsScaler()을 적용하여 달성할 수 있습니다. 각각의 변환은 식 1과 같습니다.

MinMaxScaler:	$x_{\text{scaled}}=\frac{x-x_{\text{min}}}{x_{\text{max}}-x_{\text{min}}}$	(식 1)
MaxAbsScaler:	$x_{\text{scaled}}=\frac{x}{|x_{\text{max}}|}$

sklearn.preprocessing.MinMaxScaler(feature_range=(0, 1))

• 데이터를 행 단위로 다음과 같이 스케일 합니다. 다음의 첫번째 식은 데이터의 표준화를 위한 것으로 분모에 분산 대신 데이터의 범위를 사용한 것입니다.
  • $\begin{array}{rl}{x}_{\text{std}}& =\frac{x-\mu }{x_{\text{max}}-x_{\text{min}}}\\ x_{\text{scaled}}& =x_{\text{std}}(x_{\text{max}}-x_{\text{min}})+x_{\text{min}}\end{array}$
• .fit() 메소드로 데이터에 적합시키고 .transform() 메소드로 데이터를 변형
• .inverse_transform() 메소드를 사용하여 원 데이터로 환원
• 다양한 속성이 있음

sklearn.preprocessing.MaxAbsScaler()

• 변수의 최대값의 절대값을 기준으로 각 데이터의 비를 계산
• .fit() 메소드로 데이터에 적합시키고 .transform() 메소드로 데이터를 변형
• .inverse_transform() 메소드를 사용하여 원 데이터로 환원
• 다양한 속성이 있음

import numpy as np
import pandas as pd 
from sklearn import preprocessing

np.random.seed(0)
x=np.random.randint(0, 100, size=(5,3))
print(x)

[[44 47 64]
 [67 67  9]
 [83 21 36]
 [87 70 88]
 [88 12 58]]

패키지 sklearn에 포함된 클래스는 대부분 .fit() 메소드를 사용하여 변수에 적합된 추정기(estimator)를 생성하며 데이터는 메소드 .transform()으로 변환시킬 수 있습니다. 또한 변환된 값들의 원시값은 .inverse_transform() 메소드를 적용하여 확인할 수 있습니다.

mnxScaler=preprocessing.MinMaxScaler().fit(x)
xScale1=mnxScaler.transform(x)
print(np.around(xScale1, 3))

[[0.    0.603 0.696]
 [0.523 0.948 0.   ]
 [0.886 0.155 0.342]
 [0.977 1.    1.   ]
 [1.    0.    0.62 ]]

maxAbsScaler=preprocessing.MaxAbsScaler().fit(x)
xScale2=maxAbsScaler.transform(x)
print(np.around(xScale2,3))

[[0.5   0.671 0.727]
 [0.761 0.957 0.102]
 [0.943 0.3   0.409]
 [0.989 1.    1.   ]
 [1.    0.171 0.659]]

print(maxAbsScaler.inverse_transform(xScale2))

[[44. 47. 64.]
 [67. 67.  9.]
 [83. 21. 36.]
 [87. 70. 88.]
 [88. 12. 58.]]

실제 주가 자료에 대해 스케일링을 적용해 봅니다.

import FinanceDataReader as fdr
st=pd.Timestamp(2024,7, 25)
et=pd.Timestamp(2024, 7, 30)
sam=fdr.DataReader('005930', st, et).iloc[:,:4]
sam

	Open	High	Low	Close
Date
2024-07-25	80400	81000	80100	80400
2024-07-26	80700	81300	80400	80900
2024-07-29	81600	82000	81100	81200
2024-07-30	80400	81000	80000	81000

scaler1=preprocessing.MinMaxScaler().fit(sam)
samScal=scaler1.transform(sam)
print(np.around(samScal, 4))

[[0.     0.     0.0909 0.    ]
 [0.25   0.3    0.3636 0.625 ]
 [1.     1.     1.     1.    ]
 [0.     0.     0.     0.75  ]]

print(np.around(scaler1.inverse_transform(samScal), 0))

[[80400. 81000. 80100. 80400.]
 [80700. 81300. 80400. 80900.]
 [81600. 82000. 81100. 81200.]
 [80400. 81000. 80000. 81000.]]

위 예들에서 나타낸 것과 같이 scaling은 각 특성(feature)단위로 이루어집니다. 다음은 일반적인 데이터 셋의 구조입니다. 즉, 하나의 열은 하나의 특성을 나타내며 각 특성에 해당하는 데이터는 각행에 위치합니다. 이러한 구조를 기반으로 각행은 인스턴스 또는 샘플이라고 합니다. scaling은 열 단위 즉, 특성단위로 계산됩니다.

샘플\특성	feature1	feature2	…
샘플1	data11	data12	…
⋮	⋮	⋮	…
샘플n	datan1	datan2	…