[data analysis] 분산과 공분산의 계산

분산과 공분산의 계산

대수적으로 분산($\sigma^2$)과 공분산(COV)은 식 1과 같이 계산됩니다.

\begin{align} \tag{식 1}\sigma^2&=\frac{1}{N-1} (x-\mu)^2\\ \text{Cov(x, y)}&=\frac{1}{N-1}(x-\mu_x)(y-\mu_y)\end{align}

즉, 분산은 관찰값 자신이 평균과 떨어져 있는 정도를 나타내며 공분산은 두 관찰값이 평균에 대한 변화정도를 나타내는 지표입니다. 아래에서 각 값 $x_1, x_2, x_3$가 평균을 고려한 값(관찰값-평균)이라면 그 값들의 벡터와 전치벡터의 곱은 분산과 공분산을 나타냅니다.

x1,x2,x3=symbols("x1,x2,x3")
A=Matrix(3,1,[x1,x2,x3]);A

$\left[\begin{matrix}x_{1}\\x_{2}\\x_{3}\end{matrix}\right]$

A*A.T

$\left[\begin{matrix}x_{1}^{2} & x_{1} x_{2} & x_{1} x_{3}\\x_{1} x_{2} & x_{2}^{2} & x_{2} x_{3}\\x_{1} x_{3} & x_{2} x_{3} & x_{3}^{2}\end{matrix}\right]$

위 결과에서 대각원소들은 각 변수의 분산, 대각외요소들은 두 변수간의 공분산을 나타냅니다.

식 1로 계산되는 분산과 공분산을 벡터 또는 행렬로 구성되는 데이터로부터 다시 고려해 봅니다. 식 2는 $n \times p$ 차원인 관측값 S를 행렬로 나타낸 것입니다. 각 열은 변수이고 각 행은 샘플(인스턴스)이라고 합니다. 즉, 식 2는p개의 변수와 n개의 샘플로 구성된 것입니다.

$$\tag{식 2}S=\begin{bmatrix}x_{11} &x_{12} &\cdots & x_{1p}\\x_{21} &x_{22} &\cdots & x_{2p}\\\vdots &\vdots &\ddots & \vdots\\x_{n1} &x_{n2} &\cdots & x_{np} \end{bmatrix}$$

이 샘플 S의 평균(sample mean, M)은 각 변수의 평균을 나타내는 것으로 각 열의 합을 샘플 수 n으로 나눔으로 계산할 수 있습니다(식 3).

\begin{align}\tag{식 3}M&=\frac{1}{n}\left(\begin{bmatrix}x_{11}+x_{21}+\cdots+x_{n1}\\\qquad \vdots \\x_{1p} +x_{2p} +\cdots + x_{np} \end{bmatrix} \right)\\ &=\begin{bmatrix} \frac{\sum^n_{i=1}x_{i1}}{n}\\\vdots \\\frac{\sum^n_{i=1}x_{ip}}{n} \end{bmatrix} \\n:&\;\text{샘플의 수, 행의 수}\end{align}

식 4의 행렬 B는 각 값들에 대한 평균과의 차이를 나타낸 것입니다.

\begin{align}\tag{식 4}B&=X^T-M\\ &=\begin{bmatrix}x_{11}&x_{21}&\cdots&x_{n1}\\ \vdots&\vdots&\ddots&\vdots \\x_{1p} &x_{2p} &\cdots & x_{np} \end{bmatrix}-\begin{bmatrix} \frac{\sum^n_{i=1}x_{i1}}{n}\\\vdots \\\frac{\sum^n_{i=1}x_{ip}}{n} \end{bmatrix} \\n:&\;\text{샘플의 수, 행의 수}\end{align}

식 4는 결과적으로 평균을 0로 하기 위해 모든 관찰값들을 평균 만큼 이동시킨 것으로 관찰값들과 동일한 차원의 행렬 B로 생성됩니다. 이 행렬은 평균-편차 형태(mean-deviation form)이라고 합니다. 정방행렬이 아닌 행렬은 그 행렬의 전치행렬과의 곱으로 정방행렬을 생성할 수 있으며 이것은 이차형태를 나타내는 기본 구조입니다. 이것을 적용하여 샘플 S의 공분산 행렬(sample covariance matrix), covM은 식 5와 같이 $n \times n$ 행렬 S로 정의 됩니다.

$$\tag{식 5} \text{covM}=\frac{1}{n-1} BB^T$$

식 5에서 $BB^T$는 0을 포함하여 항상 양수이므로 양의 반정부호(semidefinite)입니다.

import numpy as np
import numpy.linalg as LA
import pandas as pd
from sympy import *
np.set_printoptions(precision=4, suppress=True)

예 1)

다음행렬의 평균과 공분산 행렬?

$$X_1=\begin{bmatrix}1\\2\\1\end{bmatrix}\quad X_2=\begin{bmatrix}4\\2\\13\end{bmatrix}\quad X_3=\begin{bmatrix}7\\8\\1\end{bmatrix}\quad X_4=\begin{bmatrix}8\\4\\5\end{bmatrix}$$

위 각 벡터를 결합하여 행렬로 나타냅니다.

x1=np.array([1,2,1]).reshape(3,1)
x2=np.array([4,2,13]).reshape(3,1)
x3=np.array([7,8,1]).reshape(3,1)
x4=np.array([8,4,5]).reshape(3,1)
X=np.c_[x1,x2,x3,x4]
print(X)

[[ 1  4  7  8]
 [ 2  2  8  4]
 [ 1 13  1  5]]

np.mean(x, axis) 함수를 사용하여 평균을 계산합니다. 평균은 각 열당 계산하는 것으로 axis=0을 지정합니다(함수의 인자 axis에 대해 참조).

M=np.mean(X, axis=0)
M.round(2)

array([1.33, 6.33, 5.33, 5.67])

B=X.T-M.reshape(-1,1)
B.round(2)

array([[-0.33,  0.67, -0.33],
       [-2.33, -4.33,  6.67],
       [ 1.67,  2.67, -4.33],
       [ 2.33, -1.67, -0.67]])

covM=(B@B.T)/2
covM.round(2)

array([[  0.33,  -2.17,   1.33,  -0.83],
       [ -2.17,  34.33, -22.17,  -1.33],
       [  1.33, -22.17,  14.33,   1.17],
       [ -0.83,  -1.33,   1.17,   4.33]])

위 과정없이 np.cov(객체1, 객체2=None, rowvar=True) 함수를 적용하여 객체의 공분산을 계산할 수 있습니다. 이 함수에서 rowvar 인수에 의해 행렬에 대한 계산방향을 지정할 수 있습니다. rowvar는 분산 계산을 행방향으로 한다는 것으로 객체 X는 각 열이 하나의 변수이므로 분산은 각 열을 기준으로 계산해야 합니다. 그러므로 다음 코드와 같이 rowvar=False로 지정합니다.

covM2=np.cov(X, rowvar=False)
covM2.round(2)

array([[  0.33,  -2.17,   1.33,  -0.83],
       [ -2.17,  34.33, -22.17,  -1.33],
       [  1.33, -22.17,  14.33,   1.17],
       [ -0.83,  -1.33,   1.17,   4.33]])