Time 변수 조정
내용
Time 변수 조정
date 인덱스의 분리
Pandas 객체에서의 시간 인덱스는 DateTime 객체인 Pandas의 DatetimeIndex 유형입니다. 물론 string의 시간(날짜)등 역시 이 자료형으로 전환할 수 있습니다. 그러므로 다음과 같이 인덱스 값에서 년, 월, 일과 같은 새로운 특징(feature, 설명변수)을 쉽게 생성할 수 있습니다.
- pd객체.index.year: 인덱스 중 년을 추출
- pd객체.index.month: 인덱스 중 월 추출
- pd객체.index.day: 인덱스 중 일을 추출
- pd객체.index.weekday: 인덱스 중 일을 요일로 변경하여 반환
- pd객체.index.date: 인덱스 중 년, 월, 일을 추출
다음은 일정기간 코스피 지수(^KS11)의 일일자료입니다. 이 자료는 yfinance 패키지의 download() 함수로 호출한 것으로 행 인덱스인 date의 경우 시간이후까지 표현됩니다. 이를 년, 월, 일로 조정하기 위해 .date 속성을 적용합니다.
import numpy as np import pandas as pd from sklearn.preprocessing import StandardScaler import yfinance as yf
st=pd.Timestamp(2024, 1, 1)
et=pd.Timestamp(2024, 9, 27)
data=yf.download("^KS11", st, et)
data.index[:4]
DatetimeIndex(['2024-01-02 00:00:00+00:00', '2024-01-03 00:00:00+00:00',
'2024-01-04 00:00:00+00:00', '2024-01-05 00:00:00+00:00'],
dtype='datetime64[ns, UTC]', name='Date', freq=None)
data.index=pd.DatetimeIndex(data.index.date) data.head(3)
| Price | Adj Close | Close | High | Low | Open | Volume |
|---|---|---|---|---|---|---|
| Ticker | ^KS11 | ^KS11 | ^KS11 | ^KS11 | ^KS11 | ^KS11 |
| 2024-01-02 | 2669.810059 | 2669.810059 | 2675.800049 | 2641.879883 | 2645.469971 | 409900 |
| 2024-01-03 | 2607.310059 | 2607.310059 | 2643.719971 | 2607.310059 | 2643.540039 | 463100 |
| 2024-01-04 | 2587.020020 | 2587.020020 | 2602.639893 | 2580.090088 | 2592.439941 | 770200 |
time=data.index time
DatetimeIndex(['2024-01-02', '2024-01-03', '2024-01-04', '2024-01-05',
'2024-01-08', '2024-01-09', '2024-01-10', '2024-01-11',
'2024-01-12', '2024-01-15',
...
'2024-09-10', '2024-09-11', '2024-09-12', '2024-09-13',
'2024-09-19', '2024-09-20', '2024-09-23', '2024-09-24',
'2024-09-25', '2024-09-26'],
dtype='datetime64[ns]', length=181, freq=None)
time1=pd.DataFrame([time.year, time.month, time.day, time.dayofweek]).T time1.columns=['year', 'month','day', 'week'] time1.index=time time1.head(3)
| year | month | day | week | |
|---|---|---|---|---|
| 2024-01-02 | 2024 | 1 | 2 | 1 |
| 2024-01-03 | 2024 | 1 | 3 | 2 |
| 2024-01-04 | 2024 | 1 | 4 | 3 |
순환적 시간 특성
어떤 조작 없이 모델에 날짜 및 시간 변수(특징)를 전달하여 실제로 작동할 수 있지만 모델이 이러한 변수 간의 상호 의존성을 학습하기가 더 어렵습니다. 다시말하면 12월 다음에 1월이 온다는 것을 사람들은 일반적으로 자연스럽게 받아들이지만 기계학습을 위한 모델의 경우는 특별한 인식체계를 동원할 때만 가능합니다.
위 문제는 시간에 주기성을 부여함으로서 해결할 수 있습니다. 즉, time 객체의 month, day, week는 일정한 주기를 가집니다. 다음 코드는 각 열의 고유값을 나타내는 것으로 이 결과로 각 객체의 주기성을 확인할 수 있습니다.
print(f'month의 고유 수: {time1.month.unique()}')
print(f'day의 고유 수: {time1.day.unique()}')
print(f'week의 고유 수: {time1.week.unique()}')
month의 고유 수: [1 2 3 4 5 6 7 8 9] day의 고유 수: [ 2 3 4 5 8 9 10 11 12 15 16 17 18 19 22 23 24 25 26 29 30 31 1 6 7 13 14 20 21 27 28] week의 고유 수: [1 2 3 4 0]
위 결과 month의 고유값은 1~12로서 이 범위를 주기로 순환한다는 것을 의미합니다. 이러한 주기성은 각 고유값을 단위원에 대응시켜 다음과 같이 나타낼 수 있습니다.
위 그림의 주기성은 sin(x), cox(x)로 표현할 수 있습니다. 즉, 이 특성들은 다음과 같이 새로운 값들로 변환할 수 있습니다. 예를 들어 3월에 대한 sin 값은 다음과 같이 계산됩니다.
\begin{align}12 :2 \pi&= 3:x\\ x&=\frac{2 \pi \cdot 3}{12}\\ \sin(x) &=\sin \left(\frac{2 \pi \cdot 3}{12} \right) \end{align}
df=pd.DataFrame()
nme=["_sin","_cos"]
cycle=[12, 31, 5]
for i,j in enumerate(time1.columns[1:]):
rad=time1[j]*2*np.pi/cycle[i]
df=pd.concat([df, np.sin(rad), np.cos(rad)], axis=1)
df.columns=[i+j for i in time1.columns[1:] for j in nme]
np.around(df, 3).head(3)
| month_sin | month_cos | day_sin | day_cos | week_sin | week_cos | |
|---|---|---|---|---|---|---|
| 2024-01-02 00:00:00 | 0.5 | 0.866 | 0.394 | 0.919 | 0.951 | 0.309 |
| 2024-01-03 00:00:00 | 0.5 | 0.866 | 0.571 | 0.821 | 0.588 | -0.809 |
| 2024-01-04 00:00:00 | 0.5 | 0.866 | 0.725 | 0.689 | -0.588 | -0.809 |
One-hot Encoding
DateTime 기능을 인코딩하는 다른 방법은 범주형 변수로 처리하고 원-핫 인코딩(One-hot Encoding)으로 널리 알려진 각 고유 값에 대해 새 이진 변수를 추가하는 것입니다. 1에서 12까지 범위의 월 열에 원-핫 인코딩을 적용했다고 가정합니다. 이 경우 [Jan, Feb, ... Dec]와 같이 12개의 새 월 열이 생성되고 이러한 열 중 하나만 값 1을 갖고 나머지는 0이 되도록 생성합니다. 예를 들어, 2월에 대한 원-핫 인코딩은 12개 요소중 두번째가 1이고 나머지는 0이 됩니다.
원-핫 인코딩은 pandas.get_dummies() 함수, sklearn.preprocessing.OneHotEncoder() 클래스, torch.functional.one_hot()함수를 사용하여 실시할 수 있습니다.
get_dummies()적용
이 함수에 전달되는 객체는 1차원입니다. 객체 time1은 Month 1월 ~9월까지를 포함합니다. 그러므로 다음 결과와 같이 원-핫 인코딩에서의 열은 month_1 ~ month_9까지만 생성됩니다.
timeDummy=pd.get_dummies(time1.month, prefix="month", dtype=int) timeDummy.sample(5)
| month_1 | month_2 | month_3 | month_4 | month_5 | month_6 | month_7 | month_8 | month_9 | |
|---|---|---|---|---|---|---|---|---|---|
| 2024-01-05 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 2024-05-14 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 |
| 2024-09-19 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 |
| 2024-06-18 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 |
| 2024-05-13 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 |
sklearn.preprocessing.OneHotEncoder 클래스 사용
다음은 위 자료 time1의 month에 대한 원-핫 인코딩으로 1~9월을 기준으로 반복되므로 9개의 열이 생성됩니다.
from sklearn.preprocessing import OneHotEncoder monthOh=OneHotEncoder().fit(time1.values[:,1].reshape(-1,1)) monthOh.categories_
[array([1, 2, 3, 4, 5, 6, 7, 8, 9])]
monOh1=monthOh.transform(time1.values[:,1].reshape(-1,1)).toarray() monOh1
array([[1., 0., 0., ..., 0., 0., 0.],
[1., 0., 0., ..., 0., 0., 0.],
[1., 0., 0., ..., 0., 0., 0.],
...,
[0., 0., 0., ..., 0., 0., 1.],
[0., 0., 0., ..., 0., 0., 1.],
[0., 0., 0., ..., 0., 0., 1.]])
monOh1.shape
(181, 9)
get_dummies() 함수와는 달리 여러개 열에 대한 동시 전환이 가능합니다.
timeOh=OneHotEncoder().fit(time1.values[:,1:]) timeOh.categories_
[array([1, 2, 3, 4, 5, 6, 7, 8, 9]),
array([ 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17,
18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31]),
array([0, 1, 2, 3, 4])]
re=timeOh.transform(time1.values[:,1:]).toarray() re
array([[1., 0., 0., ..., 0., 0., 0.],
[1., 0., 0., ..., 1., 0., 0.],
[1., 0., 0., ..., 0., 1., 0.],
...,
[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 1., 0., 0.],
[0., 0., 0., ..., 0., 1., 0.]])
re[0,:]
array([1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0.,
0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
0., 0., 0., 0., 0., 0., 0., 1., 0., 0., 0.])
re.shape
(181, 45)
변환된 데이터의 원형은 inverse_transform() 메소드에 의해 확인 할 수 있습니다.
re_inverse=timeOh.inverse_transform(re) re_inverse[-3:,:]
array([[ 9, 24, 1],
[ 9, 25, 2],
[ 9, 26, 3]])
댓글
댓글 쓰기