기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

댓글 쓰기

Numpy_statics

내용

Numpy statistics

최대값과 최소값

배열의 최대, 최소등의 통계량을 계산하기 위한 함수들

함수내용
np.max(객체, axis=None) 지정한 축을 기준으로 최대값axis=0: 열기준
axis=1: 행기준
axis=None:객체를 1차원으로
전환하여 최대값을 계산
np.amax(객체, axis=None) 지정한 축을 기준으로 최대값
np.nanmax(객체, axis=None) 요소들 중 Nan를 무시
np.argmax(객체, axis=None) 최대값의 인덱스를 반환
np.min(객체, axis=None) 지정한 축을 기준으로 최소값
np.amin(객체, axis=None) 지정한 축을 기준으로 최소값
np.nanmin(객체, axis=None) 요소들 중 Nan를 무시
np.argmin(객체, axis=None) 최소값의 인덱스를 반환
np.maximun(배열1, 배열2...) 각 배열의 동일한 인덱스를 가진 원소들을 비교하여 최대값을 반환
np.fmax(배열1, 배열2,...) 배열간 동일한 인덱스의 원소들 사이의 nan값을 무시하고 최대값 계산
np.minimun(배열1, 배열2...) 각 배열의 동일한 인덱스를 가진 원소들을 비교하여 최소값을 반환
np.fmin(배열1, 배열2,...) 배열간 동일한 인덱스의 원소들 사이의 nan값을 무시하고 최대값 계산
import numpy as np
import pandas as pd
import FinanceDataReader as fdr
np.random.seed(1)
arr=np.around(np.random.rand(5, 4), 3)
arr
array([[0.417, 0.72 , 0.   , 0.302],
           [0.147, 0.092, 0.186, 0.346],
           [0.397, 0.539, 0.419, 0.685],
           [0.204, 0.878, 0.027, 0.67 ],
           [0.417, 0.559, 0.14 , 0.198]])
np.max(arr, 1)
array([0.72 , 0.346, 0.685, 0.878, 0.559])
np.argmax(arr, 1)
array([1, 3, 3, 1, 1])
np.amin(arr, 0)
array([0.147, 0.092, 0.   , 0.198])
arr[1,3]=np.nan
arr[3,1]=np.nan
arr
array([[0.417, 0.72 , 0.   , 0.302],
           [0.147, 0.092, 0.186,   nan],
           [0.397, 0.539, 0.419, 0.685],
           [0.204,   nan, 0.027, 0.67 ],
           [0.417, 0.559, 0.14 , 0.198]])
np.max(arr, axis=1)
array([0.72 ,   nan, 0.685,   nan, 0.559])
np.nanmax(arr, axis=1)
 array([0.72 , 0.186, 0.685, 0.67 , 0.559])
np.random.seed(2)
arr2=np.around(np.random.rand(5,4),3)
arr2
array([[0.436, 0.026, 0.55 , 0.435],
           [0.42 , 0.33 , 0.205, 0.619],
           [0.3  , 0.267, 0.621, 0.529],
           [0.135, 0.514, 0.184, 0.785],
           [0.854, 0.494, 0.847, 0.08 ]])
np.maximum(arr, arr2)
array([[0.436, 0.72 , 0.55 , 0.435],
           [0.42 , 0.33 , 0.205,   nan],
           [0.397, 0.539, 0.621, 0.685],
           [0.204,   nan, 0.184, 0.785],
           [0.854, 0.559, 0.847, 0.198]])
np.fmax(arr, arr2)
array([[0.436, 0.72 , 0.55 , 0.435],
           [0.42 , 0.33 , 0.205, 0.619],
           [0.397, 0.539, 0.621, 0.685],
           [0.204, 0.514, 0.184, 0.785],
           [0.854, 0.559, 0.847, 0.198]])

차이 계산

함수내용
np.diff(객체, n=1, axis=1)지정된 축(axis)과 지정된 기간(n)을 기준으로 차이를 반환
np.ptp(객체, axis=None) 지정된 행 또는 열에서 최대값-최소값을 계산하여 반환
np.percentile(객체, q, axis=None)
=np.quantile(객체, q, axis=None)		 객체에서의 [0, 100]사이의 지정된 백분율(q)에 속한 값을 반환
객체내에 nan 값이 존재하면 이 함수는 nan을 반환
np.nanpercentile(객체, q, axis=None)
=np.quantile(객체, q, axis=None)		=np.percentile(), nan 값을 무시
np.diff(arr, axis=1)
array([[ 0.303, -0.72 ,  0.302],
           [-0.055,  0.094,    nan],
           [ 0.142, -0.12 ,  0.266],
           [   nan,    nan,  0.643],
           [ 0.142, -0.419,  0.058]])
np.ptp(arr, axis=1)
array([0.72 ,   nan, 0.288,   nan, 0.419])
np.percentile(arr, [0.25, 0.75], axis=1)
array([[0.002265,      nan, 0.397165,      nan, 0.140435],
           [0.006795,      nan, 0.397495,      nan, 0.141305]])
np.nanpercentile(arr, [0.25, 0.75], axis=1)
array([[0.002265, 0.092275, 0.397165, 0.027885, 0.140435],
           [0.006795, 0.092825, 0.397495, 0.029655, 0.141305]])
np.quantile(arr, [0.25, 0.75], axis=1)
array([[0.2265 ,     nan, 0.4135 ,     nan, 0.1835 ],
           [0.49275,     nan, 0.5755 ,     nan, 0.4525 ]])

중간값과 평균

함수내용
np.median(객체, axis=None) 지정된 행 또는 열에서 중간값을 반환
np.nanmedian(객체, axis=None) 중간값을 계산하는 함수로 Nan을 무시
np.mean(객체, axis=None) 지정된 행 또는 열을 기준으로 산술평균을 반환
np.nanmean(객체, axis=None) 위와 같은 함수로 Nan을 무시
np.average(배열객체, axis, weights)배열의 행, 열, 또는 전체의 평균을 반환
가중치를 지정하면 그것을 고려
가중치를 지정할 경우 axis를 반드시 함께 지정해야 함 
np.median(arr, 0), np.nanmedian(arr, 0)
(array([0.397,   nan, 0.14 ,   nan]), array([0.397, 0.549, 0.14 , 0.486]))
np.mean(arr, 0), np.nanmean(arr, 0)
(array([0.3164,    nan, 0.1544,    nan]),
     array([0.3164 , 0.4775 , 0.1544 , 0.46375]))
np.average(arr2, 0)
 array([0.429 , 0.3262, 0.4814, 0.4896])
np.average(arr2, axis=0, weights=np.linspace(0, 1, arr2.shape[0]))
array([0.4841, 0.4382, 0.5387, 0.4352])

표준편차와 분산

함수내용참고
np.std(객체, axis=None, ddof=0...)표준편차를 반환ddof는 자유도를 계산하기 위해 고려되는 수
ddof=0 → 전체수-0
Nan이 포함되어 있는 경우 Nan을 반환
np.var(객체, axis=None, ddof=0...) 분산을 계산
np.nanstd()
np.nanvar()		Nan을 무시하고 표준편차와 분산을 계산
np.std(arr, 1), np.var(arr, 1)
(array([0.25778516,        nan, 0.11458185,        nan, 0.16846736]),
     array([0.06645319,        nan, 0.013129  ,        nan, 0.02838125]))
np.nanstd(arr, 1), np.nanvar(arr, 1)
(array([0.25778516, 0.0385602 , 0.11458185, 0.27119775, 0.16846736]),
     array([0.06645319, 0.00148689, 0.013129  , 0.07354822, 0.02838125]))
np.std(arr2, 1, ddof=1), np.var(arr2, 1, ddof=1)
(array([0.23024968, 0.1742766 , 0.17296315, 0.3044235 , 0.36663095]),
     array([0.05301492, 0.03037233, 0.02991625, 0.09267367, 0.13441825]))

상관행렬과 공분산

함수내용
np.corrcoef(객체, 객체2=None) Peason 상관계수 행렬을 반환
np.cov(객체, 객체2=None) 공분산행렬을 반환

다음은 일정기간의 코스피 주가 자료입니다. 이 자료는 Close, Open, High, Low의 특성(feature, 변수)의 일일 주가로 구성되어 있습니다. 변수 Close와 Open의 1일간의 차이에 대한 상관행렬과 공분산 행렬을 계산해 봅니다.

import FinanceDataReader as fdr
st=pd.Timestamp(2022,1, 20)
et=pd.Timestamp(2022, 2, 11)
da=fdr.DataReader("KS11", st, et).iloc[:,:4]
da.tail(2)
Close Open High Low
Date
2022-02-09 2768.85 2772.63 2773.38 2753.51
2022-02-10 2768.23 2787.44 2788.27 2764.06 
da1=np.diff(da, n=1, axis=0)
np.around(da1[-2:,], 1)
array([[22.4,  4.9, -6.5, 26.8],
           [-0.6, 14.8, 14.9, 10.5]])
np.corrcoef(da1[:,0], da1[:,1])
array([[1.        , 0.23146059],
           [0.23146059, 1.        ]])
np.cov(da1[:,0], da1[:,1])
array([[2070.64877197,  482.18945455],
           [ 482.18945455, 2095.92070909]])

빈도수와 히스토그램

np.bincount(1차원 배열객체)
객체 내의 각 요소의 빈도수를 반환
np.random.seed(3)
arr=np.random.randint(1, 10, 20)
arr
array([9, 4, 9, 9, 1, 6, 4, 6, 8, 7, 1, 5, 8, 9, 2, 7, 3, 3, 2, 4])
np.bincount(arr)
array([0, 2, 2, 2, 3, 1, 2, 2, 2, 4])
np.unique(객체, return_index=False, return_inverse=False, return_count=False):
객체의 고유값들을 반환 즉, 동일한 수치가 반복될 경우 그 수치 하나만 반환
return_index=True: 그 고유값이 최초로 나오는 인덱스를 반환
return_inverse=True: 객체를 반환
return_counts=True: 고유값들의 각각의 빈도수를 반환
np.random.seed(4)
arr=np.random.randint(1, 10, 100)
arr[:3]
array([8, 6, 2])
np.unique(arr, return_index=True, return_counts=True)
(array([1, 2, 3, 4, 5, 6, 7, 8, 9]),
     array([16,  2,  6, 15, 11,  1, 13,  0,  3]),
     array([10,  8, 11,  9,  9, 10, 12, 17, 14]))
np.histogram(객체, bins=10, range=None, weights=None, density=None):
객체의 요소들 bins에 따라 소그룹으로 분류하여 각 그룹의 상한값과 하한값을 포함하는 객체와 각 그룹에 포함되는 빈도수를 반환
density=True로 지정한 경우 빈도수 대신 각 구간의 확률밀도를 반환
bins: 소그룹의 수 또는 상한과 하한을 포함하는 1차원 배열 객체
range: 구간을 지정한 경우 요소들 중 그 범위에 포함된 빈도수 또는 확률밀도를 반환 
np.random.seed(5)
x=np.random.randn(100)
fre, bin=np.histogram(x, bins=10)
fre, bin
 (array([ 1,  1,  4,  8, 27, 22, 16, 12,  6,  3]),
     array([-2.85968797, -2.33064205, -1.80159614, -1.27255022, -0.74350431,
            -0.21445839,  0.31458753,  0.84363344,  1.37267936,  1.90172527,
             2.43077119]))
den,bin2=np.histogram(x, bins=10, density=True)
den, bin2
(array([0.01890195, 0.01890195, 0.0756078 , 0.15121561, 0.51035268,
            0.41584292, 0.30243122, 0.22682341, 0.11341171, 0.05670585]),
     array([-2.85968797, -2.33064205, -1.80159614, -1.27255022, -0.74350431,
            -0.21445839,  0.31458753,  0.84363344,  1.37267936,  1.90172527,
             2.43077119]))
np.histogram(x, 3, range=[1, 5])
(array([17,  1,  0]), array([1.        , 2.33333333, 3.66666667, 5.        ]))
Labels:

댓글

댓글 쓰기

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같
댓글 쓰기
Read more »

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()
댓글 쓰기
Read more »

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b
댓글 쓰기
Read more »