기본 콘텐츠로 건너뛰기

pandas_ta를 적용한 통계적 인덱스 지표

[data analysis]표준편차와 표준오차

표준편차와 표준오차(standard deviation & standard error)

자료의 특성을 나타내는 기본적인 통계량은 평균과 분산이 있습니다. 평균은 자료의 중심을 나타내고 퍼짐 정도는 분산으로 표시합니다. 분산의 제곱근이 표준편차이므로 이 통계량의 단위는 자료와 같기 때문에 분산보다는 표준편차를 더 유용하게 사용합니다. 표 1에서 소개한 것과 같이 모집단과 표본에서의 표기방법은 차이가 있습니다.

표 1 모집단과 표본에서의 평균, 분산, 그리고 표준편차 N: population size, n: sample size
ItemPopulationSample
Mean$\mu=\frac{\sum^N_{i=1} x_i}{N}$$\bar{x}=\frac{\sum^n_{i=1} x_i}{n-1}$
Variance$\sigma^2=\frac{\sum^N_{i=1} (x_i-\mu)^2}{N}$$s^2=\frac{\sum^n_{i=1} (x_i-\bar{x})^2}{n-1}$
Standard Deviationσs

표준편차는 자료의 퍼짐성을 나타내는 자료로서 모집단의 표준편차(σ)를 알 수 없는 경우 식 1과 같이 계산된 표본표준편차(s)를 사용합니다.

\begin{align}\text{s}&=\sqrt{\frac{\sum^n_{i=1}(x_i - \overline{x})^2}{n-1}}\\ &\text{s}: \text{표본표준편차}\\&n: \text{표본수}\end{align}(식 1)

식 1의 분모는 자유도(degree of freedom) 입니다. 이 식은 표본의 평균을 사용하므로 표본의 요소 1개는 고정된 것으로 고려할 수 있습니다. 그러므로 확률변수(랜덤수)로 고려되는 갯수는 표본 전체에서 1을 제외한 수가 됩니다. 즉, 자유도는 1만큼 감소됩니다. 표준편차는 평균을 기준으로 각 자료의 퍼짐의 정도를 나타내는 것으로서 표본 수가 아니라 표본의 자유도를 고려해야 합니다. 이렇게 계산된 표준편차는 표본의 각 값과 평균과의 편차를 나타냅니다. 표본을 통해 최종적으로 확인하고자 하는 것은 모평균입니다. 그러나 표본평균과 모평균 사이에 오차가 존재할 수 있으며 이로 인해 모평균을 대신하여 표본평균을 적용할 경우 불확실성이 존재합니다. 불확실성 정도 즉, 오차를 나타내는 통계량은 식 2와 같이 정의하며 표준오차(standard error)라고 합니다. 다시말하면 표준오차는 표본평균과 모평균의 차이에 대한 표준편차를 말합니다. 전체 표본의 크기 n에 대한 표본평균($\bar{x}$)을 고려하고 분산의 선형결합 방식을 적용하면 표준오차는 식 2와 같이 유도됩니다.

\begin{align}se(\bar{x})&=\sqrt{\text{Var}(\bar{x}-\mu)} \\&=\sqrt{\text{Var}\left(\frac{\sum^n_{i=1}\bar{x_i}}{n}-\mu\right)} \\&=\sqrt{\frac{1}{n}\text{Var}\left(\sum^n_{i=1}\bar{x_i}\right)}\\&=\sqrt{\frac{1}{n}\text{Var}\left(\bar{x_1}+\bar{x_2}+\cdots+\bar{x_n}\right)}\\&=\frac{\sigma}{\sqrt{n}} \end{align} (식 2)

식 2에서 σ는 모표준편차입니다. 이 식에서 모든 표본들은 독립이고 모집단과 동일한 분포의 통계량을 가진다는 가정하에 성립됩니다. 이 가정으로 모표준편차를 모르는 경우 표본분포의 표준편차를 사용하여 계산할 수 있습니다 (식 3)

$$se(\bar{x})=\begin{cases}\frac{\sigma}{\sqrt{n}}& \sigma:\; \text{known} \\\frac{s}{\sqrt{n}}& \sigma:\; \text{unknown} \end{cases}$$ (식 3)
σ: 모표준편차
s: 샘플표준편차
표 2 표준편차와 표준오차
표준편차 평균과 자료의 각 값들의 산포 정도를 나타내는 통계량
표준오차 모평균을 기준으로 표본평균 산포 정도를 나타내는 통계량

식 1과 2의 경우 numpy, pandas 등 파이썬의 여러 패키지에서 제공하는 함수나 메소드들을 사용할 수 있습니다. 다음 코드는 pnadas모듈의 std()와 sem() 메소드를 사용하여 각각 표준편차와 표준오차를 계산한 것입니다.

import numpy as np 
import pandas as pd 
from scipy import stats
from sympy import *
import matplotlib.pyplot as plt
x=pd.DataFrame([2., 3., 9., 6., 7., 8.])
xBar=x.mean()
sd=x.std(ddof=1)
se=x.sem(ddof=1)
print("평균: %.3f, 표준편차: %.3f, 표준오차: %.3f"%(xBar, sd, se))
평균: 5.833, 표준편차: 2.787, 표준오차: 1.138

표준오차인 se는 다음과 같이 표준편차를 표본 크기의 제곱근으로 나눈 값과 같습니다.

se2=sd/np.sqrt(len(x)); se2
0    1.137737
dtype: float64

이 통계량들에 의해 표본으로부터 모집단을 추론할 수 있습니다.

표본분포는 다음과 같은 특성을 가집니다.

  • 모집단의 분포에 관계없이 표본평균의 분포는 정규분포에 근사하게 됩니다. (중심극한 정리 참조)
  • 표본분포의 평균(표본평균)은 모평균에 근사합니다.
  • 표본분포의 표준편차는 모집단 표준편차의 추정치(estimator)로 사용됩니다.
  • 모평균과 표본평균의 편차의 정도는 표준오차(standard error of the mean, se)로 나타낼 수 있으며 모집단 또는 표본분포의 표준편차와 샘플수에 의해 계산됩니다.

이 모집단과 표본평균들의 분포는 표 3과 같이 정리할 수 있습니다.

표 3 모분포와 표본분포
분포 설명
모분포 모집단의 분포
일반적으로 모집단에 대한 정보는 부족
표본분포 많은 표본평균들의 분포
모집단이 알려진 경우 반복적인 표집에 의해 구성
모집단을 모르는 경우 표본에 대해 반복적인 표집으로 구성할 수 있음
이 정보는 항상 알 수 있음

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같...

유리함수 그래프와 점근선 그리기

내용 유리함수(Rational Function) 점근선(asymptote) 유리함수 그래프와 점근선 그리기 유리함수(Rational Function) 유리함수는 분수형태의 함수를 의미합니다. 예를들어 다음 함수는 분수형태의 유리함수입니다. $$f(x)=\frac{x^{2} - 1}{x^{2} + x - 6}$$ 분수의 경우 분모가 0인 경우 정의할 수 없습니다. 이와 마찬가지로 유리함수 f(x)의 정의역은 분모가 0이 아닌 부분이어야 합니다. 그러므로 위함수의 정의역은 분모가 0인 부분을 제외한 부분들로 구성됩니다. sympt=solve(denom(f), a); asympt [-3, 2] $$-\infty \lt x \lt -3, \quad -3 \lt x \lt 2, \quad 2 \lt x \lt \infty$$ 이 정의역을 고려해 그래프를 작성을 위한 사용자 정의함수는 다음과 같습니다. def validX(x, f, symbol): ① a=[] b=[] for i in x: try: b.append(float(f.subs(symbol, i))) a.append(i) except: pass return(a, b) #x는 임의로 지정한 정의역으로 불연속선점을 기준으로 구분된 몇개의 구간으로 전달할 수 있습니다. #그러므로 인수 x는 2차원이어야 합니다. def RationalPlot(x, f, sym, dp=100): fig, ax=plt.subplots(dpi=dp) # ② for k in x: #③ x4, y4=validX(k, f, sym) ax.plot(x4, y4) ax.spines['left'].set_position(('data', 0)) ax.spines['right...

turtle로 정오각형 그리기

정오각형 그리기  오각형을 그리는 것 역시 정사각형 , 정삼각형 을 그리는 것과 유사한 과정을 거칩니다. 단지 각 꼭지점의 각도만이 다르지요. 그러면 정오각형의 각 모서리의 각도는 어떻게 될까요? 이를 생각하기에 앞서 각 도형의 내각을 먼저 생각해보죠. 우리는 삼각형의 내각의 합을 알고 있습니다. 이를 이용하면 각 도형에서 삼각형이 몇개가 존재하는지를 알아보고 "삼각형의 갯수×180"로 그 도형의 내각의 합을 구할 수 있을 것입니다. 다음 그림을 볼까요? 위 그림의 사각형은 1개의 대각선으로 2개의 삼각형으로 구성됩니다. 오각형의 경우 2개의 대각선으로 3개의 삼각형으로 구성됩니다. 즉, 다음의 관계를 보이지요. 사각형의 내각 : 삼각형 2개 2×180=360 한각의 값  360/4=90 오각형의 내각 : 삼각형 3개 3×180=540 한각의 값  540/5=108 육각형의 내각 : 삼각형 4개 4×180=720 한각의 값  720/6=120 ... 위 그림에서 내각과 외각의 관계를 보면 위 그림의 검은색은 각 모서리의 내각이고 빨간색은 외각을 나타냅니다. 외각은 내각을 이루는 하나의 선을 연장했을 경우 상대되는 각도이라고 했습니다. 그러므로 오각형의 경우 내각 108도에 대한 외각은 72도입니다. 특이할 사항은 사각형이나 오각형이나 외각의 합은 360입니다. 즉, 모든 도형의 외각의 합은 360도입니다. (삼각형의 외각의 합을 구해보세요.) 그러므로 모든 정다각형에서 하나의 외각은 다음과 같이 계산될 수 있겠지요. 360/변수의 수=다각형에서 하나의 외각 위에서 회전을 할 경우 내각이 아닌 외각을 사용해야 함을 알았습니다. 그러므로 오각형을 그리는 계획은 다음과 같이 작성할 수 있겠죠. 1) 지정한 길이만큼 앞으로 이동합니다. 2) 오른쪽 또는 왼쪽으로 72도를 회전합니다. 3) 앞으로 동일한 길이만큼 이동합니다. 4) 오른쪽 또는 왼쪽으로 72도 만큼 이동합니다. 5)1번부터 4번 ...