[Linear Algebra] 고유값분해(Eigenvalue Decomposition)

고유값 분해(Eigen-Decomposition)

식 1과 같이 행렬 A가 가역행렬인 P과 대각행렬 D를 사용하여 유사변환이 가능하다면 그 행렬은 대각 가능(Diagonalizable)하다고 합니다. 즉, 식 2와 같이 행렬 A의 고유값과 고유행렬에 대한 유사변환(Similarity transformation)이 성립합니다. 예를 들어 2×2 정방행렬 A에 대해 고유값과 고유벡터들로 분해하는 다음과 같으며 고유값분해 (Eigenvalue Decomposition)라고 합니다.

$$\begin{array}{rl}\text{A}& ={\text{PDP}}^{-1}\\ \text{(식 1)}& & P:\text{고유행렬}& D:\text{고유값으로 구성된 대각행렬}\end{array}$$

 

$$\begin{array}{rl}A=& \left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]\\ \text{(식 2)}& \text{고유값}& =\left[\begin{array}{cc}{\lambda }_1& {\lambda }_2\end{array}\right]\text{고유행렬}& =\left[\begin{array}{cc}{v}_{11}& v_{12}\\ v_{21}& v_{22}\end{array}\right]\\ \left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]& =\left[\begin{array}{cc}{v}_{11}& v_{12}\\ v_{21}& v_{22}\end{array}\right]\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]{\left(\left[\begin{array}{cc}{v}_{11}& v_{12}\\ v_{21}& v_{22}\end{array}\right]\right)}^{-1}\end{array}$$

예 1)

다음 행렬 A에 위 대각화를 적용하여 분해해봅니다.

$$A=\left[\begin{array}{cc}7& 2\\ -4& 1\end{array}\right]$$

식 1의 유사변환이 성립하기 위해서는 행렬 A가 정방행렬이고 그 행렬의 고유행렬이 가역행렬일 경우 가능합니다. 행렬 A의 대각화 역시 이 조건을 만족하여야 합니다.

A=np.array([[7,2],[-4,1]])
print(A)

[[ 7  2]
 [-4  1]]

다음은 행렬 A의 고유값(d)와 고유행렬(P)입니다.

d, P=la.eig(A)
la.det(P).round(3)

0.316

위 결과에 의하면 두 조건이 중촉됩니다. 즉, 행렬 A의 대각화가 가능합니다.

D=np.diag(d)
print(D)

[[5. 0.]
 [0. 3.]]

그러므로 고유값분해가 가능합니다. A = PDP^-1의 성립으로 확인할 수 있습니다.

np.allclose(A, P@D@la.inv(P))

True

고유값 분해의 조건

n×n 차원의 가역적 정방행렬 A 다음 조건들을 만족하면 대각화가 가능합니다.

1. n개의 대응하는 서로 다른 고유값이 존재합니다.
2. n개의 고유벡터를 가집니다.
3. 고유값들은 대각행렬의 대각원소가 됩니다.
4. 행렬 A의 급수(rank) = 열차원(n) = 열공간의 차원(n)
   • 즉, A의 모든 벡터가 기저벡터

예 2)

다음 행렬 A의 대각화 즉, 고유값분해의 가능성을 결정합니다.

$$A=\left[\begin{array}{ccc}1& 3& 3\\ -3& -5& -3\\ 3& 3& 1\end{array}\right]$$

A=np.array([[1,3,3],[-3,-5,-3],[3,3,1]])
d, P=la.eig(A)
la.det(P).round(3)

-0.253

la.matrix_rank(A)

3

len(Matrix(A).columnspace())

3

행렬 A는3개의 열차원(벡터)이고 열공간의 차원 역시 3으로 같습니다. 즉, 행렬 A는 가역행렬(기저벡터로 구성)임을 의미하는 것으로 고유값분해가 가능함을 나타냅니다.

la.det(A).round(3)

4.0

Matrix(A).rref()

(Matrix([
 [1, 0, 0],
 [0, 1, 0],
 [0, 0, 1]]),
 (0, 1, 2))

다음은 A는 고유값분해를 나타낸 것입니다.

D=np.diag(d)
print(D)

[[ 1.  0.  0.]
 [ 0. -2.  0.]
 [ 0.  0. -2.]]

np.allclose(A, P@D@la.inv(P))

True