sons dataStory

분산과 공분산의 계산 대수적으로 분산($\sigma^2$)과 공분산(COV)은 식 1과 같이 계산됩니다. \begin{align} \tag{식 1}\sigma^2&=\frac{1}{N-1} (x-\mu)^2\\ \text{Cov(x, y)}&=\frac{1}{N-1}(x-\mu_x)(y-\mu_y)\end{align} 즉, 분산은 관찰값 자신이 평균과 떨어져 있는 정도를 나타내며 공분산은 두 관찰값이 평균에 대한 변화정도를 나타내는 지표입니다. 아래에서 각 값 $x_1, x_2, x_3$가 평균을 고려한 값(관찰값-평균)이라면 그 값들의 벡터와 전치벡터의 곱은 분산과 공분산을 나타냅니다. x1,x2,x3=symbols("x1,x2,x3") A=Matrix(3,1,[x1,x2,x3]);A $\left[\begin{matrix}x_{1}\\x_{2}\\x_{3}\end{matrix}\right]$ A*A.T $\left[\begin{matrix}x_{1}^{2} & x_{1} x_{2} & x_{1} x_{3}\\x_{1} x_{2} & x_{2}^{2} & x_{2} x_{3}\\x_{1} x_{3} & x_{2} x_{3} & x_{3}^{2}\end{matrix}\right]$ 위 결과에서 대각원소들은 각 변수의 분산, 대각외요소들은 두 변수간의 공분산을 나타냅니다. 식 1로 계산되는 분산과 공분산을 벡터 또는 행렬로 구성되는 데이터로부터 다시 고려해 봅니다. 식 2는 $n \times p$ 차원인 관측값 S를 행렬로 나타낸 것입니다. 각 열은 변수이고 각 행은 샘플(인스턴스)이라고 합니다. 즉, 식 2는p개의 변수와 n개의 샘플로 구성된 것입니다. $$\tag{식 2}S=\begin{bmatrix}x_{11} &x_{12} &\cdots & x_{1p}\\x_{21} &x_{22} &\cdots & x_{2p}\\\vdot...

이차형식(Quadratic forms) ax 2 + bxy + cy 2 과 같은 이차식은 식 1과 같이 행렬 형태로 나타낼 수 있습니다. \begin{align} ax_1^2 + bx_1x_2 + cx_2^2 & = \begin{bmatrix}x_1& x_2\end{bmatrix} \begin{bmatrix} a&\frac{b}{2}\\\frac{b}{2}&c \end{bmatrix} \begin{bmatrix} x_1\\x_2\end{bmatrix}\\ \tag{식 1} Q(x)& = x^TAx\\ &A:\; \text{대칭행렬} \\ & x:\; \text{변수벡터} \end{align} 식 1과 같이 이차식을 Q(x)로 표시하면 변수벡터와 ℝ 2 차원의 대칭행렬인 계수행렬의 내적으로 나타낼 수 있습니다. 가장 간단한 이차 형태는 Q(x) = x T Ix =‖x‖ 2 입니다. 위 Q에서 대칭 행렬 A의 대각원소들은 2차항의 계수이며 대각 외 요소들 중에 대칭된 요소들의 합은 1차 항들의 계수가 됩니다. 그러므로 ℝ 2 차원의 항등행렬(I)을 표준행렬로 적용하는 경우는 식 2의 이차식을 나타낸 것입니다. $$\tag{식 2}\begin{bmatrix}x_1& x_2\end{bmatrix}\begin{bmatrix}1& 0\\0& 1\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=x_1^2+x_2^2$$ 식 1에서 A는 대칭행렬을 나타냅니다. 이 행렬의 대각원소들은 2차항의 계수이며 대각 외 원소들의 합은 1차 항들의 계수가 됩니다. 예를 들어 이차식의 형태 ax 2 +bxy +cx 2 는 식 2와 같이 행렬 형태로 나타낼 수 있습니다. 예 1) 대각 행렬 A와 B를 이차 형태로 표현합니다. $$A=\begin{bmatrix}4 & 0 \\ 0 & 3 \end{bmatrix} \quad B=\begin{bm...