[data analysis]Kolmogorov-Smirnov Test

Kolmogorov-Smirnov Test

관련된 내용

Kolmogorov-Smirnov 검정 (K-S test)은 표본이 특정 분포를 가진 모집단에서 추출되었는지 결정하는 데 사용됩니다. 즉, 자료의 분포가 특정한 분포와의 일치정도를 정량화하여 검정하는 방법입니다. 분석대상 자료의 분포를 알 수 없으므로 식 1에 의해 생성된 경험적 분포 함수 (Emperical distribution fucntion, ECDF)와 특정분포를 비교합니다.

E C D F = \frac{n (i)}{N}

(식 1)

식 1의 n(i)는 데이터를 오름차순으로 정렬한 경우의 각 요소의 위치이며 분모인 N은 전체 자료수입니다.

자료가 오름차순으로 정렬되면 각 값까지의 누적확률은 그것이 위치하는 순서에 의존됩니다. 예를 들어 총 20개의 데이터 중의 2번째의 값의 누적확률은 0.1(2/20)이 됩니다. 전체적으로 각 데이터마다 1/20씩 증가하는계단함수가 됩니다. 이것을 경험적 누적분포함수라고 하며 이 함수가 정규분포의 누적함수와의 일치 정도로 자료의 정규성을 검정합니다.

그림 1은 100개의 랜덤 샘플에 대한 경험적 누적분포함수와 정규누적분포함수를 작성한 것입니다.

np.random.seed(3)
N=100
da=np.sort(np.random.randn(N))
ecdf=[i/N for i in range(1, N+1)]
nCdf=stats.norm.cdf(da)
plt.figure(figsize=(4,2))
plt.plot(da, ecdf, color="blue", label="ECDF")
plt.plot(da, nCdf, color="red", label="normCDF")
plt.legend(loc="best")
plt.xlabel("x", weight="bold")
plt.ylabel("probility", weight="bold")
plt.show()

그림 1. 랜덤샘플 100개에 대한 경험누적분포(ECDF)와 정규누적분포(normCDF)함수.

K-S 검정의 가설은 다음과 같습니다.

H0: 데이터는 특정한 분포를 따릅니다.

H1: 데이터는 특정한 분포를 따르지 않습니다.

이 검정의 대상(검정통계량, D)은 두 분포함수의 거리차이가 됩니다. 즉, 식 2와 같이 |ECDF(x) - NCDF(x)|의 최대값이 됩니다.

D = max_{1 \leq i \leq N} | F (x_{i}) - \frac{i}{N} |

(식 2)

식 2의 F(x_i)는 이론적 분포함수로 이 분포의 평균, 표준편차등은 분석 대상 자료에서 계산된 것이 아닙니다. 예를 들어, 이론적 누적분포로서 표준정규분포를 적용한다면 평균과 표준편차는 0, 1로 지정됩니다. 계산된 검정통계량이 임계값 이상이 된다면 귀무가설을 기각합니다.

D > 임계값 → H0: 기각

위의 판단 기준인 임계값은 K-S table로부터 샘플의 규모와 유의수준에 의해 결정할 수 있습니다. 본 서에서는 이 표를 대신에 scipy.stats.kstest() 함수를 사용합니다.

예 1)

다음 자료 즉, kospi와 kosdaq 지수의 일일 종가 자료에 대해 k-s 검정으로 사용하여 정규성을 결정합니다.

	kospi	kosdaq
0	2669.8	878.9
1	2607.3	871.6
2	2587.0	866.2
3	2578.1	878.3
4	2567.8	879.3
⋮	⋮	⋮

위 자료를 생성하기 위한 코드입니다. 자료간의 스케일의 차이를 보정하기 위해 각 자료를 표준화하였습니다.

st=pd.Timestamp(2024,1,1)
et=pd.Timestamp(2024, 5, 30)
kos=fdr.DataReader("KS11",st, et)["Close"]
kq=fdr.DataReader("KQ11", st, et)["Close"]
kos1=(kos-kos.mean())/kos.std()
kq1=(kq-kq.mean())/kq.std()

각 자료의 호출과 ECDF, NCDF(이론적 누적분포)의 계산 코드는 다음과 같습니다.

kos2=np.sort(kos1)
kq2=np.sort(kq1.dropna())
n_kos=len(kos2)
n_kq=len(kq2)
ecdf_kos=[i/n_kos for i in range(1, n_kos+1)]
ncdf_kos=stats.norm.cdf(kos2)
ecdf_kq=[i/n_kq for i in range(1, n_kq+1)]
ncdf_kq=stats.norm.cdf(kq2)

그림 1은 호출하여 조정한 데이터들에 대한 그래프입니다.

plt.figure(figsize=(8,3))
plt.subplot(1,2,1)
plt.plot(kos2, ecdf_kos, color="blue", label="ECDF")
plt.plot(kos2, ncdf_kos, color="red", label="NCDF")
plt.legend(loc="best")
plt.title("Kospi", weight="bold")
plt.xlabel("x", weight="bold")
plt.ylabel("probility", weight="bold")
plt.subplot(1,2,2)
plt.plot(kq2, ecdf_kq, color="blue", label="ECDF")
plt.plot(kq2, ncdf_kq, color="red", label="NCDF")
plt.legend(loc="best")
plt.title("USD/KRW", weight="bold")
plt.xlabel("x", weight="bold")
plt.show()

위 자료들에 대해 ks 검정은 stats.kstest(x, cdf, N=20) 함수를 적용합니다. 이 함수의 cdf는 자료의 분포와 비교한 기준 분포의 누적함수이며 N은 자료의 크기 입니다. 이 함수는 통계량과 유효확률(p-value)를 반환합니다.

st_kos, pv_kos=stats.kstest(kos1, stats.norm.cdf, N=n_kos)
st_kq, pv_kq=stats.kstest(kq1, stats.norm.cdf, N=n_kq)
print("통계량:%.3f, p-value:%.3f" %(st_kos, pv_kos))

통계량:0.121, p-value:0.099

print("통계량:%.3f, p-value:%.3f" %(st_kq, pv_kq))

통계량:0.067, p-value:0.737

위 결과는 유의수준 0.05를 기준으로두 자료 모두 정규분포에 부합한다는 귀무가설을 기각할 수 없습니다.

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다.

\begin{matrix} (1) & A = P B P^{- 1} \Leftrightarrow P^{- 1} A P = B \end{matrix}

식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다.

\begin{aligned} (식 2) & B - λ I & = P^{- 1} A P - λ P^{- 1} P \\ = P^{- 1} (A P - λ P) \\ = P^{- 1} (A - λ I) P \end{aligned}

식 2의 행렬식은 식 3과 같이 정리됩니다.

\begin{aligned} \begin{aligned} det (B - λ I) & = det (P^{- 1} (A P - λ P)) \\ = det (P^{- 1}) det ((A - λ I)) det (P) \\ = det (P^{- 1}) det (P) det ((A - λ I)) \\ = det (A - λ I) \end{aligned} \\ \begin{aligned} ∵ det (P^{- 1}) det (P) & = det (P^{- 1} P) \\ = det (I) \end{aligned} \end{aligned}

유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같...

[sympy] Sympy객체의 표현을 위한 함수들

Sympy객체의 표현을 위한 함수들 General simplify(x): 식 x(sympy 객체)를 간단히 정리 합니다. import numpy as np from sympy import * x=symbols("x") a=sin(x)**2+cos(x)**2 a

\sin^{2} (x) + \cos^{2} (x)

simplify(a) 1 simplify(b)

\frac{x^{3} + x^{2} - x - 1}{x^{2} + 2 x + 1}

simplify(b) x - 1 c=gamma(x)/gamma(x-2) c

\frac{Γ (x)}{Γ (x - 2)}

simplify(c)

(x - 2) (x - 1)

위의 예들 중 객체 c의 감마함수(gamma(x))는 확률분포 등 여러 부분에서 사용되는 표현식으로 다음과 같이 정의 됩니다. 감마함수는 음이 아닌 정수를 제외한 모든 수에서 정의됩니다. 식 1과 같이 자연수에서 감마함수는 factorial(!), 부동소수(양의 실수)인 경우 적분을 적용하여 계산합니다.

\begin{matrix} (식 1) & Γ (n) = {\begin{cases} (n - 1)! & n : 자연수 \\ \int_{0}^{\infty} x^{n - 1} e^{- x} d x & n : 부동소수 \end{cases} \end{matrix}

x=symbols('x') gamma(x).subs(x,4)

6

factorial 계산은 math.factorial() 함수를 사용할 수 있습니다. import math math.factorial(3) 6 a=gamma(x).subs(x,4.5) a.evalf(3) 11.6 simpilfy() 함수의 알고리즘은 식에서 공통사항을 찾아 정리하...

sympy.solvers로 방정식해 구하기

sympy.solvers로 방정식해 구하기 대수 방정식을 해를 계산하기 위해 다음 함수를 사용합니다. sympy.solvers.solve(f, *symbols, **flags) f=0, 즉 동차방정식에 대해 지정한 변수의 해를 계산 f : 식 또는 함수 symbols: 식의 해를 계산하기 위한 변수, 변수가 하나인 경우는 생략가능(자동으로 인식) flags: 계산 또는 결과의 방식을 지정하기 위한 인수들 dict=True: {x:3, y:1}같이 사전형식, 기본값 = False set=True :{(x,3),(y,1)}같이 집합형식, 기본값 = False ratioal=True : 실수를 유리수로 반환, 기본값 = False positive=True: 해들 중에 양수만을 반환, 기본값 = False 예

x^{2} = 1

의 해를 결정합니다. solve() 함수에 적용하기 위해서는 다음과 같이 식의 한쪽이 0이 되는 형태인 동차식으로 구성되어야 합니다.

x^{2} - 1 = 0

import numpy as np from sympy import * x = symbols('x') solve(x**2-1, x) [-1, 1] 위 식은 계산 과정은 다음과 같습니다.

\begin{array}{r} x^{2} - 1 = 0 \to (x + 1) (x - 1) = 0 \\ x = 1 or - 1 \end{array}

예

x^{4} = 1

의 해를 결정합니다. solve() 함수의 인수 set=True를 지정하였으므로 결과는 집합(set)형으로 반환됩니다. eq=x**4-1 solve(eq, set=True) ([x], {(-1,), (-I,), (1,), (I,)}) 위의 경우 I는 복소수입니다.즉 위 결과의 과정은 다음과 같습니다.

x^{4} - 1 = (x^{2} + 1) (x + 1) (x - 1) = 0 \to x = \pm \sqrt{- 1}, \pm 1 = \pm i, \pm 1

실수...

sons dataStory

이 블로그 검색

[matplotlib] 등고선(Contour)