확률과 주요통계량: 분산

관련 내용

• 확률과 주요통계량: 모멘트와 기대값
• 분산 (Variance)

분산 (Variance)

분산(variance)은 데이터 변동성을 나타내는 것으로 식 1과 같이 계산되며 분산의 제곱근이 표준편차(standard deviation, $\sigma$)가 됩니다.

\begin{align}\sigma^2&=E(X-\mu)^2\\&=(x_1-\mu)^2P(X=x_1)+ \cdots+(x_k-\mu)^2P(X=x_k)\\&=\sum^k_{i=1} (x_k-\mu)^2P(X=x_k)\end{align}

(식 1)

자료 분포에 대한 퍼짐의 척도인 분산은 각 데이터와 평균사이의 편차 제곱에 대한 가중 평균입니다. 식 1은 식 2와 같이 간략하게 정리됩니다.

\begin{align}\sigma^2&=\sum^k_{i=1} (x_i-\mu)^2P(X=x_i)\\&=\sum^k_{i=1}(x_i^2-2x_i\mu+\mu^2)f(x_i)\\&=\sum^k_{i=1} x_i^2f(x_i) -2\mu \sum^k_{i=1} x_if(x_i)+ \mu^2\\&=\sum^k_{i=1} x_i^2f(x_i)-2\mu^2+\mu^2\\&=\sum^k_{i=1} x_i^2f(x_i)-\mu^2\\&=E(X^2)-(E(X))^2\\ \because& \sum^k_{i=1} x_if(x_i)=\mu, \quad \sum^k_{i=1} f(x_i)=1 \end{align}

(식 2)

분산은 확률변수의 분포를 나타내는 지표이며 식 2에서 나타낸 것과 같이 2차 모멘트와 1차 모멘트의 차로 계산됩니다. 즉, 분산은 기대값으로부터 파생되므로 분산 역시 기대값의 특성인 선형결합이 가능합니다. 그러나 식 3과 같이 분산의 선형결합은 기대값의 그것과는 다른 형태를 보입니다.

\begin{align}\text{var}(ax+b)&=\sigma_{ax+b}^2\\&=E[(ax+b-\mu_{ax+b})^2]\\&=E[(ax+b-E(ax+b))^2] \\ &=E[(ax+b-aE(x)-b)^2]\\&=E[(ax-aE(x))^2]\\&=a^2E[(x-\mu)^2]\\&=a^2\sigma_x^2\end{align}

(식 3)

식 3과 같이 변수에 첨가한 상수는 변수의 모든 요소에 같은 값을 주는 것으로 변수의 분산에 영향을 주지 않습니다.

예 1)

확률변수 X의 확률질량함수는 다음과 같습니다.

$$f(x)=\frac{x}{8}, \quad x=1,\, 2,\, 5$$

E(X)와 Var(X)를 결정합니다.

x=np.array([1,2,5])
f=x/8
print(f)

[0.125 0.25 0.625]

E=np.sum(f*x); E

3.75

var=np.sum((x**2*f))-E**2; var

2.6875

예 2)

연속확률변수 X의 확률밀도함수는 다음과 같습니다.

$$f(x)=\frac{x+1}{8}, \quad 2 \lt x \lt 4$$

E(X)와 Var(X)를 결정합니다.

평균과 분산은 PDF 함수의 적분을 사용하여 계산됩니다. 적분 연산은 sympy모듈의 itegrate() 함수를 적용합니다.

x=symbols("x")
f=(x+1)/8
E=integrate(x*f, (x, 2, 4))
print(E)

37/12

Var=integrate(x**2*f,(x, 2, 4))-E**2
print(Var)

47/144

예 3)

표 1과 같이 주사위 1개를 시행하여 나오는 눈에 따라 점수를 지정하는 규칙을 기준으로 두 종류의 게임을 합니다.

표 1 주사위 게임

눈의 수(z)	1	2	3	4	5	6
게임1(x)	1	2	3	4	5	6
게임2(y)	3	0	6	0	0	12
P(z)	1/6	1/6	1/6	1/6	1/6	1/6

1. 각 게임의 기대값과 분산을 결정합니다.
2. 두 게임들을 결합하여 생성된 랜덤변수 게임3의 기대값과 분산을 결정 합니다.

a)

z=np.arange(1, 7) #눈의 수
g1=np.arange(1, 7) #게임1
g2=np.array([3,0,6,0,0,12]) #게임 2
p=np.repeat(1/6, 6) # 확률함수
E_g1=np.sum(g1*p); E_g1

3.5

var_g1=np.sum(g1**2*p)-E_g1**2
round(var_g1, 3)

2.917

E_g2=np.sum(g2*p)
E_g2

3.5

var_g2=np.sum(g2**2*p)-E_g2**2
round(var_g2, 3)

19.25

b) 게임 3=g3

g3=g1+g2
print(g3)

[ 4  2  9  4  5 18]

E_g3=np.sum(g3*p); E_g3

7

var_g3=np.sum(g3**2*p)-E_g3**2
round(var_g3, 3)

28.667

위 결과의 g3의 기대값은 g1, g2의 각 기대값의 합과 같습니다. 그러나 분산은 각 분산의 합에 일치하지 않습니다.

E_g3 ==E_g1+E_g2

True

var_g3 ==var_g1+var_g2

False

위의 결과와 같이 결합 변수의 분산과 각 변수의 분산의 합은 일치하지 않습니다. 이 차이는 식 4와 같이 결합변수의 분산 유도 과정으로 설명할 수 있습니다.

\begin{align} \text{var}(aX+bY)&=E[(aX+bY-(a\mu_x+b\mu_y))^2]\\0 &=E[(a(X-\mu_x)+b(Y-\mu_y))^2]\\&=E[a^2(X-\mu_x)^2+2ab(X-\mu_x)(Y-\mu_y)+b^2(Y-\mu_y)^2]\\&=a^2E(X-\mu_x)^2+2abE[(X-\mu_x)(Y-\mu_y)]+b^2E(Y-\mu_y)^2\\&=a^2E(X-\mu_x)^2+b^2E(Y-\mu_y)^2\\ &=a^2\text{var}(X)+b^2\text{var}(Y)\\\because \text{if}\;& X\,\cap\,Y=\varnothing \Rightarrow E[(X-\mu_x)(Y-\mu_y)]=0\end{align}

(식 4)

식 4에서 E[(X −µ_x)(Y −µ_Y )]는 두 변수의 교호작용을 나타내는 것으로 두 변수가 독립인 경우 그 교호작용의 값은 0이 됩니다. 그러므로 예제 3의 변수 g1, g2와 결합변수 g3와 분산의 차이는 두 변수가 독립이 아니라는 정보를 제공합니다.