sons dataStory

대칭행렬의 대각화 대칭행렬(Symmetric matrix) 은 주 대각원소를 기준으로 위 부분과 아래부분의 원소들이 대칭되는 구조이며 대표적인 특성으로 식 1에 나타낸 것과 같이 원시행렬과 전치행렬은 같습니다. $$\tag{식 1}A = A^T$$ 식 1은 모든 대칭행렬에 대한 특성이지만 고유값 분해의 조건 을 만족하는 가역적 대칭행렬의 경우는 다음의 특성을 가집니다. 서로 다른 고유값에 대응하는 고유벡터들은 직교(orthogonal) 관계에 있습니다 정규직교(orthonormal) 관계로 변형할 수 있습니다. 식 2와 같이 가역적 대칭행렬을 구성하는 각 열벡터($x_1,\; x_2$)의 내적은 0가 됩니다. $$\tag{식 2} x_1^Tx_2=0$$ 식 2의 증명은 식 3과 같이 λ 1 x 1 T x 2 를 정리하는 것으로 시작합니다. \begin{align}\lambda_1 x_1^Tx_2&= (\lambda_1 x_1)^Tx_2\\ & = (Ax_1)^Tx_2\\ \tag{식 3} & = x_1^TA^Tx_2 \\& = x_1^TAx_2\\ & = x_1^T\lambda_2x_2\\& = \lambda_2 x_1^Tx_2\\ \because&\; A=A^T\end{align} 식 3을 정리하면 식 4와 같이 나타낼 수 있습니다. \begin{align}\lambda_1 x_1^Tx_2& = \lambda_2 x_1^Tx_2\\\tag{식 4} \Rightarrow & \lambda_1 x_1^Tx_2 - \lambda_2 x_1^Tx_2=0\\ \Rightarrow& (\lambda_1 -\lambda_2)x_1^Tx_2=0 \end{align} 식 5.3.4에서 고유값 λ 1 과 λ 2 이 서로 다르기 때문에 고유벡터들 x 1 과 x 2 의 내적이 0 이어야 합니다. 이것은 두 벡터의 내적이 0인 것으로 그 고유벡터들은 서로 직교 관계에 있음을 ...

정규직교(Orthonormal) 서로 직교하는 단위 벡터들을 정규 직교(orthonormal) 라고 하며 기저 벡터가 됩니다. 정규직교 집합 {u 1 , u 2 , …, u p }은 직교 벡터들의 선형결합으로 생성된 부분공간(W)의 스판 이 됩니다. 식 1과 같이 나타낼 수 있습니다. $$\tag{식 1} W=\text{span}\{u_1,\, u_2,\, \cdots,\, u_p\}$$ 이 벡터들의 선형 결합은 선형 독립이므로 자명한(trivial) 해를 가집니다. 결과적으로 정규직교 집합은 W의 정규직교 기저(orthonormal basis)가 됩니다. 정규직교 집합은 정규직교기저가 됩니다. 예 1) 다음 세 벡터들은 ℝ 3 의 정규직교 기저인지를 결정합니다. $$v_1=\begin{bmatrix}\frac{3}{\sqrt{11}}\\\frac{1}{\sqrt{11}}\\\frac{1}{\sqrt{11}} \end{bmatrix} \quad v_2=\begin{bmatrix}-\frac{1}{\sqrt{6}}\\\frac{2}{\sqrt{6}}\\\frac{1}{\sqrt{6}} \end{bmatrix} \quad v_3=\begin{bmatrix} -\frac{1}{\sqrt{66}}\\ -\frac{4}{\sqrt{66}}\\-\frac{7}{\sqrt{66}}\end{bmatrix}$$ v1=np.array([3/11**0.5, 1/11**0.5, 1/11**0.5]).reshape(3,1) v2=np.array([-1/6**0.5, 2/6**0.5, 1/6**0.5]).reshape(3,1) v3=np.array([-1/66**0.5, -4/66**0.5, 7/66**0.5]).reshape(3,1) for i, j in enumerate([v1, v2, v3 ]): print(F" v{i+1}의 norm: {np.around(la.norm(j),1)}") v1의 norm: 1.0 v2의 nor...

직교행렬과 주성분(Principal Component) 식 1의 행렬 X를 평균-편차 형태 로 가정합니다. $$\tag{식 1}X=\left[\begin{matrix} x_1 & x_2 & \cdots &x_n \end{matrix}\right]$$ 주성분분석의 목적은 식 2와 같이 X=PY 형태로 변환가능한 p×p차원의 직교 행렬 P를 발견하는 것입니다. \begin{align}\tag{식 2} \begin{bmatrix}x_1 \\ x_2 \\ \vdots \\ x_p \end{bmatrix} & = \begin{bmatrix}u_1 & u_2 & \cdots & u_p \end{bmatrix}\begin{bmatrix}y_1 \\ y_2 \\ \vdots \\ y_p \end{bmatrix}\\ P&=\begin{bmatrix} u_1 & u_2 & \cdots & u_p \end{bmatrix} \end{align} 식 2에서 새로운 변수 $y_1, y_2, \cdots, y_p$는 상관성이 없고 내림차순으로 정렬된 형태입니다. Y는 P에 대해 X의 좌표벡터 가 됩니다. P가 직교행렬이므로 식 3이 성립합니다( 정규직교의 특징 참조 ). $$\tag{식 3}P^{-1}PY=P^TPY=P^TX \rightarrow Y=P^TX$$ 식 3으로 부터 새로운 변수인 Y 역시 평균-편차 형태이므로 Y의 공분산 행렬을 유도 할 수 있습니다(식 4). $$\tag{식 4}YY^T=(P^TX)(P^TX)^T=P^TXX^TP=P^TSP$$ S는 변수 X에 대한 공분산 행렬로서 대칭행렬입니다. 식 4에서 $YY^T=A$라 하고 S에 대해 정리하면 식 5와 같습니다. $$\tag{식 5}S=PAP^T$$ S가 대칭행렬이고 P가 직교행렬이므로 위 식은 스펙트럴 분해 와 동일한 형태가 됩니다. 그러므로 행렬 $A=YY^T$는 행렬 S의 고유값들을 내림차순으로 정렬한 값들을 대각...