[Linear Algebra] 대각화(Diagonalization)

대각화(Diagonalization)

정방행렬 A의 고유값과 고유벡터의 관계는 식 1과 같습니다.

\begin{align}\tag{식 1}Av&=\lambda v= v \lambda\\ A&=v\lambda v^{-1}\\& v,\, \lambda:\;\text{고유벡터, 고유값} \end{align}

식 1은 유사변환과 동일한 형식을 나타내지만 유사변환이 되기 위해서는 v, λ 모두 정방행렬이 되어야 합니다. 그러므로 식 1을 식 2와 같이 유사변환하기 위해서는 식 1의 고유벡터와 고유값은 각각 고유행렬(P)과 고유값을 대각원소로 하는 대각행렬(D)을 치환됩니다(식 3). 고유벡터는 기저벡터이므로 고유행렬은 가역행렬입니다.

$$\tag{식 2} A=PBP^{-1} \Leftrightarrow P^{-1}AP=B$$

고유값을 대각행렬로 전환하기 위해 np.diag(대각요소들)을 적용합니다.

A=np.array([[3,1],[1,3]])
eigVal, eigVec=la.eig(A)
D=np.diag(eigVal)
print(D)

[[4. 0.]
 [0. 2.]]

sim=eigVec@D@la.inv(eigVec)
print(np.isclose(A, sim))

[[ True  True]
 [ True  True]]

위 관계는 식 3과 같이 유사변환으로 나타낼 수 있습니다.

\begin{align}\tag{식 3}A&=PDP^{-1}\\P:&\;\text{고유행렬}\\D:&\;\text{고유값으로 구성된 대각행렬} \end{align}

식 3은 결국 행렬 A를 기저벡터들로 구성된 행렬들로 분해(factorization)한 것 입니다.

정방 행렬 A가 고유행렬 P와 대각행렬 D를 사용하여 식 3과 같이 유사변환이 가능하다면 행렬 A는 대각가능(Diagonalizable)하다고 합니다. 즉, n×n 차원의 정방행렬 A가 n개의 고유벡터를 가진다면 대각화가 가능합니다. 고유벡터는 기저벡터를 의미하므로 n 차원의 정방행렬에서 n개의 고유벡터를 가진다는 것은 행렬 A는 가역행렬임을 의미합니다. 그러나 모든 가역행렬이 대각가능하지는 않습니다(예 2 참조).

예 1)

행렬 A의 유사변환을 위한 행렬 P를 적용하는 경우 대각행렬 D를 계산해 봅니다.

$$A=\begin{bmatrix}17& 7\\-42& -18 \end{bmatrix},\quad B=\begin{bmatrix}1& -1\\-3& 2 \end{bmatrix}$$

대각행렬 D를 사용하여 식 4와 같이 유사변환 관계를 성립할 수 있습니다. 이 식으로부터 대각행렬을 결정할 수 있습니다.

$$\begin{align}\tag{식 4} A& = PDP^{-1} \Leftrightarrow P^{-1}AP = D\\ P:&\; \text{고유행렬}\end{align}

대각행렬인 D의 대각 요소는 고유값으로 구성됩니다.

A=np.array([[17, 7], [-42, -18]])
P=np.array([[1, -1], [-3, 2]])
P_inv=la.inv(P)
print(P_inv)

[[-2. -1.]
 [-3. -1.]]

D=P_inv@A@P
print(D.round(2))

[[-4. -0.]
 [ 0.  3.]]

print(np.allclose(A, P@D@P_inv))

True

eigval, eigvec=la.eig(A)
print(eigval)

[ 3. -4.]

print(eigvec.round(3))

[[ 0.447 -0.316]
 [-0.894  0.949]]

위 고유값은 대각행렬 D의 대각요소와 같습니다 (대각 요소의 위치는 대응하는 고유행렬의 위치 조정에 의해 달라질 수 있습니다.) 고유행렬은 스칼라배에 따라 다양한 값들로 표현할 수 있습니다. 이 관계를 적용하면 위 결과인 eigvec은 P와 같습니다.

print(eigvec/np.abs(eigvec[0,:]))

[[ 1. -1.]
 [-2.  3.]]

식 4의 성립여부를 확인합니다.

np.allclose(A, eigvec@np.diag(eigval)@la.inv(eigvec))

True

예 2)

행렬 A의 대각화가 가능 여부를 결정해 봅니다.

$$A=\begin{bmatrix}-3& -1\\ 0& -3 \end{bmatrix}$$

행렬 A가 대각가능하다면 유사변환이 성립합니다. 즉, 고유행렬이 가역행렬이어야 하며 n×n의 정방행렬 n개의 고유벡터들이 존재하여야 합니다. 행렬 A의 고유값과 고유벡터를 계산하면 다음과 같습니다.

A=np.array([[-3, -1],[0, -3]])
eigVal, eigVec=la.eig(A)
print(eigVal)

[-3. -3.]

print(eigVec)

[[1. 1.]
 [0. 0.]]

위 결과는 행렬 A는 1개의 고유값과 고유벡터를 갖습니다. 즉, 정방행렬인 P와 D를 생성할 수 없습니다. 그러므로 대각화가 가능하지 않습니다.

예 3)

다음 행렬 A의 분해시 대각행렬과 고유행렬의 계산합니다. 이 고유행렬의 정규직교성을 조사해 봅니다.

$$A=\begin{bmatrix}-3& 6\\6& -5 \end{bmatrix}$$

np.array([[-3, -1],[0, -3]])
A=np.array([[-3, 6],[6, -5]])
eigVal, eigVec=la.eig(A)
print(eigVal.round(2))

[  2.08 -10.08]

print(eigVec.round(2))

[[ 0.76 -0.65]
 [ 0.65  0.76]]

la.det(eigVec)

1.0

행렬 A의 고유값과 고유벡터 모두 A의 열의 수와 같습니다. 또한 고유행렬은 가역행렬입니다. 그러므로 행렬 A의 대각화는 가능하며 다음과 같이 유사변환은 성립됩니다.

D=np.diag(eigVal)
print(D.round(2))

[[  2.08   0.  ]
 [  0.   -10.08]]

np.allclose(A, eigVec@D@la.inv(eigVec))

True

P^-1 = P^T가 성립하면 P는 정규직교행렬입니다. 다음 결과와 같이 행렬 A의 고유행렬의 역행렬과 전치행렬은 같습니다. 즉, 정규직교행렬입니다.

P=eigVec
np.allclose(la.inv(P), P.T)

True

고유행렬의 정규성이 성립할 경우 식 5와 같이 나타낼 수 있습니다.

\begin{align}\tag{식 5}B& = PDP^{-1}\\ & =PDP^T \end{align}

식 5로부터 B의 전치행렬을 계산해봅니다(식 6).

\begin{align}\tag{식 6}B^T& = \left(PDP^T\right)^T\\ & =(P^T)^TDP\\ & =P^TDP\\& = B \end{align}

식 6이 성립하면 가역적 대칭행렬입니다. 다시말하면 이 식이 성립하기 위해서는 다음 조건이 충족되어야 합니다.

1. P^T = P^-1: 정규직교행렬
2. D: 다른 요소들로 구성된 대각행렬

예 4)

다음 행렬 A의 분해를 고유행렬과 대각행렬을 사용하여 분해할 수 있습니까? 그렇다면 고유 행렬의 정규직교행렬을 계산해 봅니다.

$$A=\begin{bmatrix}5& 8 & -4\\ 8 & 5 & -4\\ -4& -4 & -1 \end{bmatrix}$$

행렬 A의 고유값들로 구성된 대각행렬과 고유행렬은 다음과 같습니다.

A=np.array([[5, 8, -4], [8, 5, -4],[-4,-4,-1]])
d, P=la.eig(A)
D=np.diag(d)
print(D)

[[-3.  0.  0.]
 [ 0. 15.  0.]
 [ 0.  0. -3.]]

print(P.round(2))

[[-0.75  0.67 -0.05]
 [ 0.6   0.67  0.49]
 [-0.3  -0.33  0.87]]

la.det(P).round(2)

-1.0

고유행렬이 가역행렬이고 A, D, P 모두 같은 형태를 가지고 P가 가역행렬이므로 대각화가 가능하고 유사변환에 의한 분해가 가능합니다.

np.allclose(A, P@D@la.inv(P))

True

그러나 P의 정규직교성은 성립하지 않습니다.

np.allclose(P.T, la.inv(P))

False

위 결과는 대각행렬 A의 고유행렬은 정규직교행렬이 아님을 의미합니다. 다음과 같이 고유벡터들의 내적으로 확인할 수 있습니다.

import itertools
for i,j in itertools.combinations(range(3), 2):
  print((P[i,:]@P[j,:]).round(2))

-0.02
-0.04
0.02

고유행렬의 정규직교행렬은 계산하기 위해 Gram-Schmit 과정을 적용합니다. 이 결과는 numpy.linalg.qr() 함수의 결과인 Q와 같습니다. 이 함수를 적용하여 계산하면 다음과 같습니다.

Q,R=la.qr(P)
print(Q.round(3))

[[-0.745 -0.667  0.   ]
 [ 0.596 -0.667  0.447]
 [-0.298  0.333  0.894]]