기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

주가자료의 변형

주가 자료는 날짜,시가, 고가, 저가 종가, 거래량으로 정리됩니다. 이러한 기본자료로 부터 원하는 부분을 추출하기 위해 자료의 형태를 수정하여야 할 경우가 있는데 그러한 수정에 필요한 함수들을 작성해 보면 다음과 같습니다.
우선 날짜를 기준으로 구분하기 위해서는 날짜의 형식을 연산이 가능한 형태로 변경해 주어야 합니다.
python에서 엑셀등으로 부터 자료를 호출할 경우 날짜로 된 인덱스는 문자형인 경우가 많으므로 이를 pd.Timestamp로 변경하여 연산이 가능하도록 합니다. 다음은 엑셀로 부터 호출한 kospi 자료의 날짜 인덱스의 변경 예입니다.
>>> kos_day=[pd.Timestamp(i) for i in kos.index]
>>> kos.index = kos_day
이러한 변화에 의해 다음과 같이 날짜에 대한 연산이 가능해 집니다.
>>> kos.iloc[kos.index<pd.Timestamp(2011,1,1),:]
Out[22]:
Open High Low Close Volume
2010-01-04 1681.71 1696.14 1681.71 1696.14 295646000
2010-01-05 1701.62 1702.39 1686.45 1690.62 407629000
2010-01-06 1697.88 1706.89 1696.10 1705.32 425407000
2010-01-07 1702.92 1707.90 1683.45 1683.45 461562000
2010-01-08 1694.06 1695.26 1668.84 1695.26 379138000
2010-01-11 1700.79 1705.73 1694.12 1694.12 405115000
2010-01-12 1695.83 1701.16 1683.29 1698.64 382863000

2010-01-13 1683.51 1687.58 1671.11 1671.41 360836000
...

 date형 특히 pd.Timestamp() 형으로 이루어진 날짜에서 다음과 같이 year, month, day를 추출할 수 있습니다.
>>> kos.index[0].year
Out[36]: 2010

>>> kos.index[0].month
Out[37]: 1

>>> kos.index[0].day

Out[38]: 4

다음 함수는 년도별로 자료를 구분하기 위해 작성된 것입니다.
def devideYears (dat):
    re={}
    rng=[dat.index[0].year,dat.index[len(dat)-1].year]
    for i in range(rng[0], rng[1]+1):
        x=dat.iloc[dat.index>=pd.Timestamp(i,1,1) ,:]
        x1=x.iloc[x.index<=pd.Timestamp(i, 12, 31),:]
        re[i]=x1     
    return(re) 
     
>>> ko=devideYears(kos)     
>>> ko.keys() 
 dict_keys([2010, 2011, 2012, 2013, 2014, 2015, 2016, 2017, 2018]) 
다음은 월별로 자료를 구분하기 위한 함수입니다.
def devideMonthS(dat):
    re={}
    rng=[dat.index[0].year,dat.index[len(dat)-1].year]
    for i in range(rng[0], rng[1]+1):
        for j in range(1, 13):
            x=dat.iloc[dat.index.month==j,:]
            re[str(i)+str(j)]=x
    return(re)

>>> ko2010=devideMonthS(ko[2010])
>>> ko2010.keys()
dict_keys(['20101', '20102', '20103', '20104', '20105', '20106', '20107', '20108', '20109', '201010', '201011', '201012'])

다음은 위함수들을 사용하여 종가에 대한 월평균 일간 수익률을 산정한 결과입니다.
>>> monret={}
...: for i in ko2017.keys():
...: x=(ko2017[i].iloc[:,3].shift(1)-ko2017[i].iloc[:,3])/ko2017[i].iloc[:, 3]*100
...: monret[i]=x.mean()
...:
...: monret
Out[125]:
{'20171': -0.10502351080895136,
'201710': -0.23988629278509332,
'201711': 0.1530467345765919,
'201712': 0.02064337774313152,
'20172': -0.027494484059338443,
'20173': -0.12712902899204184,
'20174': -0.08990171490675086,
'20175': -0.30771895105634633,
'20176': -0.0982905860404006,
'20177': -0.015764215431896426,
'20178': 0.12114865769702463,
'20179': -0.07553406154146017}



댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b