데이터 분석을 위한 금융자료 I

내용

결측치 조정
표준화
tensor 형으로 전환
batch sample 생성

주가가료

FinanceDataReader 모듈을 사용하여 다양한 금융자료를 호출할 수 있습니다. 이 호출된 자료는 pandas.DataFrame 형으로 분석 툴에 적합한 자료형으로 변환이 필요합니다. 다음은 kospi에 대한 자료를 호출한 것입니다.

import FinanceDataReader as fdr
st=pd.Timestamp(2000,1, 1)
et=pd.Timestamp(2021, 12, 27)
data=fdr.DataReader("KS11", st, et)
data.tail(3)

	Close	Open	High	Low	Volume	Change
Date
2021-12-23	2998.17	2998.02	3000.70	2980.91	483840000.0	0.0046
2021-12-24	3012.43	3009.48	3025.77	3009.48	537550000.0	0.0048
2021-12-27	2999.55	3013.94	3017.31	2999.30	462900.0	-0.0043

위 결과와 같이 호출된 주가자료를 Close, Open, High, Low, Volume, Change(종가, 시가, 고가, 저가, 거래량, 변화율)등으로 구성되어 있습니다. 위와 같은 지수와 개별종목의 경우 가격의 순서에서 차이가 납니다. 예를 들어 삼성전자의 경우 변수의 나열순서가 시가, 고가, 저가, 종가, 거래량, 변화율 순으로 나타냅니다. 이러한 차이는 이후 자료의 조정에서 유의되어야 할 부분입니다.

위 자료중 change는 전날 거래 종료 이후에 일어나는 거래의 변화를 나타냅니다.

위 자료를 기반으로 하는 분석자료는 다음과정을 통해 이루어집니다. 물론 이 과정은 유연한 것이며 다른 방법으로 대체할 수 있습니다. 다음 과정은 4번 이후의 과정은 pytorch를 사용할 경우에 진행되어야 하는 것으로 사용되는 분석 툴에 맞게 수정되어야 합니다.

결측치 검사와 조정
feature-label의 지정
표준화 또는 정규화
train set과 test set으로 분리
tensor 형으로 전환
batch sample 생성(sequence type)

결측치 조정

pd.isna()함수로 결측치를 파악할 수 있습니다. 또한 그 위치는 np.where()함수로 인식할 수 있습니다. 파악된 결측치는 pandasObj.dropna(axis, how="any")를 사용하여 제거할 수 있습니다.(참고: 결측치 조정)

결측치외에 값이 0인 경우 이후 계산과정에서 오류를 발생할 수 있습니다. 그러므로 이 부분 역시 데이터 셋에서 삭제 또는 다른 값으로 치환을 고려해야 합니다.

pd객체.isna(): 각 요소별로 결측값이면 True를 반환
np.where(객체, 조건): 객체 중 조건에 부합하는 요소의 인덱스를 반환
pd객체.replace(대상, 치환할 값, method="pad"): 대상을 지정한 값으로 치환 또는 지정된 method에 부합한 값으로 치환
- method="pad" 또는 "ffill": 직전값으로 대치
- method="bfill" : 직후 값으로 대치
pd객체.dropna(axis, how="any"): 지정한 축(axis)과 방법(how)을 기반으로 na를 삭제
- how="any":행 또는 열의 하나 이상의 값이 na 일 경우 제거
- how="all":행 또는 열의 모든 값이 na 일 경우 제거

np.where(data.isna())

(array([], dtype=int64), array([], dtype=int64))

np.where(data ==0)

(array([1011, 1136, 1275, 1662, 2005, 2442, 2619, 3083, 3106, 3174, 3204,
        3276, 3322, 3464, 3537, 3693, 3751, 3906, 4638, 4714, 4758, 4783,
        5009]),
 array([5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5,
        5]))

data.iloc[1011, 5]

0.0

위 결과에 의하면 na는 없지만 0인 경우가 다수 존재합니다. 이들을 직전값을 치환합니다

data1=data.replace(0, method="ffill")
data1.iloc[1011,5]

-0.004699999999999999

np.where(data1==0)

(array([], dtype=int64), array([], dtype=int64))

예를 들어 위 자료중 label을 Close로 하고 나머지를 feature로하고 label을 feature에 비해 1행 후행하도록 지정한다면 다음과 같습니다.

#feature와 label의 분리
X=data1.values[:-1, 1:]
y=data1.values[1:,0]
new=data1.values[-1,1:]
new

array([ 3.01394e+03,  3.01731e+03,  2.99930e+03,  4.62900e+05,
       -4.30000e-03])

위 객체들 x, y, new는 각각 feature, label 그리고 최종적으로 추정을 위해 사용할 특성들(feature)입니다.

표준화

각 feature와 label의 scale을 축소 또는 동일화하기 위해 표준화 시킵니다. sklearn.preprocessing모듈에서 여러 형식의 표준화 클래스를 제공합니다. 여기서는 StandardScaler() 클래스를 적용합니다. 일반적으로 label은 표준화에 자유롭지만 표준화를 적용하기 위해서는 feature와 별도로 진행합니다. 또한 전달하는 인수는 벡터가 아닌 행렬 즉, 2차원이어야 합니다.

#표준화
indScaler=preprocessing.StandardScaler().fit(X)
deScaler=preprocessing.StandardScaler().fit(y.reshape(-1,1))
Xn=indScaler.transform(X)
yn=deScaler.transform(y.reshape(-1,1))
newn=indScaler.transform(new.reshape(1,-1))
newn

array([[ 2.0722703 ,  2.05820824,  2.07548519, -1.7733544 , -0.31360051]])

학습 셋과 검정 셋으로 분리

데이터 세트를 학습, 테스트 세트로 분할합니다. sklearn.model_selection의 함수 train_test_split()를 사용할 수 있습니다.

Xtr, Xte, ytr, yte=train_test_split(Xn, yn, test_size=0.2, random_state=1)  
[i.shape for i in [Xtr, Xte, ytr, yte]]

[(4343, 5), (1086, 5), (4343, 1), (1086, 1)]

tensor 형으로 전환

#torch 형으로 전환 
XtrTor, XteTor, ytrTor, yteTor=map(torch.tensor, [Xtr, Xte, ytr, yte])
XtrTor.shape

torch.Size([4343, 5])

XtrTor.dtype

torch.float64

batch sample 생성

데이터의 크기가 큰 경우 미니배치로 학습을 합니다. 이 경우 PyTorch의 DataLoader 클래스를 사용합니다. 이 클래스의 인자는 Dataset 형입니다. 데이터 세트에는 주로 두 가지 유형이 있습니다. 하나는 맵 스타일 데이터 세트이고 다른 하나는 반복 가능한 스타일 데이터 세트입니다. pytorch의 경우 반복가능한 데이터 셋을 사용해야 합니다.

from torch.utils.data import TensorDataset, DataLoader

dataset=TensorDataset(Data): Data를 iterable type으로 만듭니다. 생성된 객체는 DataLoader의 인자가 됩니다.
dataLoader=DataLoader(dataset, batch_size=batSize, shuffle=True): 지정된 배치 크기로 그룹화여 반복가능하고 호출가능한 객체로 분리합니다. shuffle은 원 dataset의 순서를 무작위로 혼합합니다.

다음은 위 데이터들을 기준으로 배치크기를 128로 지정하여 생성한것입니다.

from torch.utils.data import TensorDataset, DataLoader
batSize=128
tr=TensorDataset(XtrTor, ytrTor)
test=TensorDataset(XteTor, yteTor)
trLoad=DataLoader(tr, batch_size=batSize, shuffle=True)
testLoad=DataLoader(test, batch_size=batSize, shuffle=True)
len(trLoad)

for id, smp in enumerate(trLoad):
    x, y=smp
    if id==(len(trLoad)-1):
        print(id, x[:3,:], y[:3])

33 tensor([[ 0.0383,  0.0275,  0.0360, -0.4584, -0.5651],
        [ 0.4927,  0.4811,  0.4795,  0.5257,  0.0467],
        [ 0.4604,  0.4586,  0.4757,  0.6460,  0.2846]], dtype=torch.float64) tensor([[0.0440],
        [0.4912],
        [0.4613]], dtype=torch.float64)

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

sons dataStory

이 블로그 검색

[ML] 결정트리(Decision Tree) 모델