[data analysis] 분산과 공분산의 계산

분산과 공분산의 계산

대수적으로 분산(${\sigma }^2$)과 공분산(COV)은 식 1과 같이 계산됩니다.

$$\begin{array}{rl}\text{(식 1)}& {\sigma }^2& =\frac{1}{N-1}(x-\mu {)}^2\text{Cov(x, y)}& =\frac{1}{N-1}(x-{\mu }_x)(y-{\mu }_y)\end{array}$$

즉, 분산은 관찰값 자신이 평균과 떨어져 있는 정도를 나타내며 공분산은 두 관찰값이 평균에 대한 변화정도를 나타내는 지표입니다. 아래에서 각 값 $x_1,x_2,x_3$가 평균을 고려한 값(관찰값-평균)이라면 그 값들의 벡터와 전치벡터의 곱은 분산과 공분산을 나타냅니다.

x1,x2,x3=symbols("x1,x2,x3")
A=Matrix(3,1,[x1,x2,x3]);A

$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$

A*A.T

$\left[\begin{array}{ccc}{x}_1^2& x_1{x}_2& x_1{x}_3\\ x_1{x}_2& x_2^2& x_2{x}_3\\ x_1{x}_3& x_2{x}_3& x_3^2\end{array}\right]$

위 결과에서 대각원소들은 각 변수의 분산, 대각외요소들은 두 변수간의 공분산을 나타냅니다.

식 1로 계산되는 분산과 공분산을 벡터 또는 행렬로 구성되는 데이터로부터 다시 고려해 봅니다. 식 2는 $n\times p$ 차원인 관측값 S를 행렬로 나타낸 것입니다. 각 열은 변수이고 각 행은 샘플(인스턴스)이라고 합니다. 즉, 식 2는p개의 변수와 n개의 샘플로 구성된 것입니다.

$$\begin{array}{}\text{(식 2)}& S=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{np}\end{array}\right]\end{array}$$

이 샘플 S의 평균(sample mean, M)은 각 변수의 평균을 나타내는 것으로 각 열의 합을 샘플 수 n으로 나눔으로 계산할 수 있습니다(식 3).

$$\begin{array}{rl}\text{(식 3)}& M& =\frac{1}{n}\left(\left[\begin{array}{c}{x}_{11}+x_{21}+\cdots +x_{n1}\\ ⋮\\ x_{1p}+x_{2p}+\cdots +x_{np}\end{array}\right]\right)& =\left[\begin{array}{c}\frac{\sum _{i=1}^n{x}_{i1}}{n}\\ ⋮\\ \frac{\sum _{i=1}^n{x}_{ip}}{n}\end{array}\right]\\ n:& \text{샘플의 수, 행의 수}\end{array}$$

식 4의 행렬 B는 각 값들에 대한 평균과의 차이를 나타낸 것입니다.

$$\begin{array}{rl}\text{(식 4)}& B& =X^T-M& =\left[\begin{array}{cccc}{x}_{11}& x_{21}& \cdots & x_{n1}\\ ⋮& ⋮& \ddots & ⋮\\ x_{1p}& x_{2p}& \cdots & x_{np}\end{array}\right]-\left[\begin{array}{c}\frac{\sum _{i=1}^n{x}_{i1}}{n}\\ ⋮\\ \frac{\sum _{i=1}^n{x}_{ip}}{n}\end{array}\right]\\ n:& \text{샘플의 수, 행의 수}\end{array}$$

식 4는 결과적으로 평균을 0로 하기 위해 모든 관찰값들을 평균 만큼 이동시킨 것으로 관찰값들과 동일한 차원의 행렬 B로 생성됩니다. 이 행렬은 평균-편차 형태(mean-deviation form)이라고 합니다. 정방행렬이 아닌 행렬은 그 행렬의 전치행렬과의 곱으로 정방행렬을 생성할 수 있으며 이것은 이차형태를 나타내는 기본 구조입니다. 이것을 적용하여 샘플 S의 공분산 행렬(sample covariance matrix), covM은 식 5와 같이 $n\times n$ 행렬 S로 정의 됩니다.

$$\begin{array}{}\text{(식 5)}& \text{covM}=\frac{1}{n-1}B{B}^T\end{array}$$

식 5에서 $B{B}^T$는 0을 포함하여 항상 양수이므로 양의 반정부호(semidefinite)입니다.

import numpy as np
import numpy.linalg as LA
import pandas as pd
from sympy import *
np.set_printoptions(precision=4, suppress=True)

예 1)

다음행렬의 평균과 공분산 행렬?

$$X_1=\left[\begin{array}{c}1\\ 2\\ 1\end{array}\right]X_2=\left[\begin{array}{c}4\\ 2\\ 13\end{array}\right]X_3=\left[\begin{array}{c}7\\ 8\\ 1\end{array}\right]X_4=\left[\begin{array}{c}8\\ 4\\ 5\end{array}\right]$$

위 각 벡터를 결합하여 행렬로 나타냅니다.

x1=np.array([1,2,1]).reshape(3,1)
x2=np.array([4,2,13]).reshape(3,1)
x3=np.array([7,8,1]).reshape(3,1)
x4=np.array([8,4,5]).reshape(3,1)
X=np.c_[x1,x2,x3,x4]
print(X)

[[ 1  4  7  8]
 [ 2  2  8  4]
 [ 1 13  1  5]]

np.mean(x, axis) 함수를 사용하여 평균을 계산합니다. 평균은 각 열당 계산하는 것으로 axis=0을 지정합니다(함수의 인자 axis에 대해 참조).

M=np.mean(X, axis=0)
M.round(2)

array([1.33, 6.33, 5.33, 5.67])

B=X.T-M.reshape(-1,1)
B.round(2)

array([[-0.33,  0.67, -0.33],
       [-2.33, -4.33,  6.67],
       [ 1.67,  2.67, -4.33],
       [ 2.33, -1.67, -0.67]])

covM=(B@B.T)/2
covM.round(2)

array([[  0.33,  -2.17,   1.33,  -0.83],
       [ -2.17,  34.33, -22.17,  -1.33],
       [  1.33, -22.17,  14.33,   1.17],
       [ -0.83,  -1.33,   1.17,   4.33]])

위 과정없이 np.cov(객체1, 객체2=None, rowvar=True) 함수를 적용하여 객체의 공분산을 계산할 수 있습니다. 이 함수에서 rowvar 인수에 의해 행렬에 대한 계산방향을 지정할 수 있습니다. rowvar는 분산 계산을 행방향으로 한다는 것으로 객체 X는 각 열이 하나의 변수이므로 분산은 각 열을 기준으로 계산해야 합니다. 그러므로 다음 코드와 같이 rowvar=False로 지정합니다.

covM2=np.cov(X, rowvar=False)
covM2.round(2)

array([[  0.33,  -2.17,   1.33,  -0.83],
       [ -2.17,  34.33, -22.17,  -1.33],
       [  1.33, -22.17,  14.33,   1.17],
       [ -0.83,  -1.33,   1.17,   4.33]])