sons dataStory

분산과 공분산의 계산 대수적으로 분산($\sigma^2$)과 공분산(COV)은 식 1과 같이 계산됩니다. \begin{align} \tag{식 1}\sigma^2&=\frac{1}{N-1} (x-\mu)^2\\ \text{Cov(x, y)}&=\frac{1}{N-1}(x-\mu_x)(y-\mu_y)\end{align} 즉, 분산은 관찰값 자신이 평균과 떨어져 있는 정도를 나타내며 공분산은 두 관찰값이 평균에 대한 변화정도를 나타내는 지표입니다. 아래에서 각 값 $x_1, x_2, x_3$가 평균을 고려한 값(관찰값-평균)이라면 그 값들의 벡터와 전치벡터의 곱은 분산과 공분산을 나타냅니다. x1,x2,x3=symbols("x1,x2,x3") A=Matrix(3,1,[x1,x2,x3]);A $\left[\begin{matrix}x_{1}\\x_{2}\\x_{3}\end{matrix}\right]$ A*A.T $\left[\begin{matrix}x_{1}^{2} & x_{1} x_{2} & x_{1} x_{3}\\x_{1} x_{2} & x_{2}^{2} & x_{2} x_{3}\\x_{1} x_{3} & x_{2} x_{3} & x_{3}^{2}\end{matrix}\right]$ 위 결과에서 대각원소들은 각 변수의 분산, 대각외요소들은 두 변수간의 공분산을 나타냅니다. 식 1로 계산되는 분산과 공분산을 벡터 또는 행렬로 구성되는 데이터로부터 다시 고려해 봅니다. 식 2는 $n \times p$ 차원인 관측값 S를 행렬로 나타낸 것입니다. 각 열은 변수이고 각 행은 샘플(인스턴스)이라고 합니다. 즉, 식 2는p개의 변수와 n개의 샘플로 구성된 것입니다. $$\tag{식 2}S=\begin{bmatrix}x_{11} &x_{12} &\cdots & x_{1p}\\x_{21} &x_{22} &\cdots & x_{2p}\\\vdot...

이차형식의 부호 관련된 내용 이차형식(Quadratic forms) 0 벡터가 아닌 x와 대칭행렬 A 사이에 이차 형식 Q(x)가 식 1을 성립하면 행렬 A를 양의 정부호 행렬 (positive definite matrix) 이라 합니다. $$\tag{식 1}Q(x) = x^TAx \gt 0$$ 양의 정부호 행렬의 고유값은 양수입니다. 즉, 0이 아닌 벡터 x에 대해 위 식을 정리하면 식 2와 같습니다. \begin{align}Ax& = \lambda x\\ x^TAx&=x^T\lambda x \gt 0\\ \tag{식 2} &=\lambda x^Tx \gt 0\\ \because\, x^Tx &=\begin{bmatrix}x_1& x_2 \end{bmatrix} \begin{bmatrix}x_1\\x_2 \end{bmatrix}\\&=x_1^2+x_2^2 \gt 0 \rightarrow \lambda \gt 0\\& \text{if}\, x_1, x_2 \neq=0\end{align} 식 2의 성립은 변수벡터의 각 변수가 0이 아닌 조건이 필요합니다. 이 조건에서 이차식은 항상 0보다 크므로 양의 정부호 행렬이 됩니다. 그러나 이 조건이 충족되지 않을 경우 이차식은 0이 될 수 있습니다. 이 경우 양의 반정부호 행렬 이라 합니다. 예 1) 다음 행렬은 양의 정부호 행렬입니까? $$A=\begin{bmatrix}3& 0\\0& 7\end{bmatrix}$$ 행렬 A의 고유값을 결정하면 다음과 같이 모두 양수입니다. A=np.array([[3,0],[0, 7]]) d, P=la.eig(A) print(d) [3. 7.] 행렬 A는 대각행렬로서 식 3을 적용하면 교차항이 없는 단순한 이차식으로 0보다 크거나 같다는 것을 알 수 있습니다. \begin{align} ax_1^2 + bx_1x_2 + cx_2^2 & = \begin{bmatrix}x...