[Linear Algebra] 정규직교(Orthonormal)

정규직교(Orthonormal)

서로 직교하는 단위 벡터들을 정규 직교(orthonormal)라고 하며 기저 벡터가 됩니다. 정규직교 집합 {u₁, u₂, …, u_p}은 직교 벡터들의 선형결합으로 생성된 부분공간(W)의 스판이 됩니다. 식 1과 같이 나타낼 수 있습니다.

$$\tag{식 1} W=\text{span}\{u_1,\, u_2,\, \cdots,\, u_p\}$$

이 벡터들의 선형 결합은 선형 독립이므로 자명한(trivial) 해를 가집니다. 결과적으로 정규직교 집합은 W의 정규직교 기저(orthonormal basis)가 됩니다.

정규직교 집합은 정규직교기저가 됩니다.

예 1)

다음 세 벡터들은 ℝ³의 정규직교 기저인지를 결정합니다.

$$v_1=\begin{bmatrix}\frac{3}{\sqrt{11}}\\\frac{1}{\sqrt{11}}\\\frac{1}{\sqrt{11}} \end{bmatrix} \quad v_2=\begin{bmatrix}-\frac{1}{\sqrt{6}}\\\frac{2}{\sqrt{6}}\\\frac{1}{\sqrt{6}} \end{bmatrix} \quad v_3=\begin{bmatrix} -\frac{1}{\sqrt{66}}\\ -\frac{4}{\sqrt{66}}\\-\frac{7}{\sqrt{66}}\end{bmatrix}$$

v1=np.array([3/11**0.5, 1/11**0.5, 1/11**0.5]).reshape(3,1)
v2=np.array([-1/6**0.5, 2/6**0.5, 1/6**0.5]).reshape(3,1)
v3=np.array([-1/66**0.5, -4/66**0.5, 7/66**0.5]).reshape(3,1)
for i, j in enumerate([v1, v2, v3 ]): 
    print(F" v{i+1}의 norm: {np.around(la.norm(j),1)}")

 v1의 norm: 1.0
 v2의 norm: 1.0
 v3의 norm: 1.0

V=[v1,v2,v3]
for i, j in itertools.combinations([1,2,3], 2):
    print(f"v{i}와 v{j}의 inner: {np.around(V[i-1].T.dot(V[j-1]), 6)}")

v1와 v2의 inner: [[0.]]
v1와 v3의 inner: [[0.]]
v2와 v3의 inner: [[0.]]

위 결과에 의하면 세 벡터는 모두 정규직교 벡터입니다. 그러므로 ℝ³의 기저가 됩니다. 세 벡터의 선형결합이 선형독립임을 판단하는 것으로 기저임을 확인할 수 있습니다.

V=np.hstack([v1,v2,v3])
print(np.around(V,3))

 [[ 0.905 -0.408 -0.123]
 [ 0.302  0.816 -0.492]
 [ 0.302  0.408  0.862]]

표준행렬이 정방행렬이고 선형독립인 경우 역행렬이 존재합니다. 즉, 행렬식이 0이 아닙니다.

la.det(V).round(3)

1.0

V_inv=la.inv(V)
print(V_inv.round(3))

V_inv=la.inv(V)
print(V_inv.round(3))

위 결과는 표준행렬 V의 모든 열은 피벗열임을 의미합니다.

Matrix(V).rref()

 (Matrix([
[1, 0, 0],
[0, 1, 0],
[0, 0, 1]]),
(0, 1, 2))

위 결과에서 암시되는 것과 같이 표준행렬 V의 역행렬은 V의 전치행렬과 같습니다. 이것은 정규직교 벡터들로 구성된 행렬의 특성입니다.

print(np.isclose(V.T, la.inv(V)))

[[ True  True  True]
[ True  True  True]
[ True  True  True]]

정규직교의 특성

식 2가 성립되는 m×n 행렬 U의 열벡터들은 정규직교 벡터의 집합이 됩니다.

$$\tag{식 2}U^TU=I \Leftrightarrow U^T=U^{-1}$$

또한 정규 직교 벡터들로 구성된 m×n 행렬 U와 ℝⁿ 차원의 벡터 x, y 사이에 식 3이 성립합니다.

\begin{align}\tag{식 3}\Vert{Ux}\Vert&=\Vert{x}\Vert\\ (Ux)\cdot(Uy) & = xy\\ x \cdot y =0 & \rightarrow (Ux)\cdot (Uy) = 0\end{align}

식 2의 특성은 정규직교 벡터들을 판단하기 위해 사용됩니다. 정규직교 벡터 a, b, 그리고 c로 구성되는 정규직교행렬 U(식 4)를 사용하여 그 특성을 확인합니다.

\begin{align}\tag{식 4}& a=\begin{bmatrix}a_1\\a_2\\a_3 \end{bmatrix}\quad b=\begin{bmatrix}b_1\\b_2\\b_3 \end{bmatrix}\quad c=\begin{bmatrix}c_1\\c_2\\c_3 \end{bmatrix} \\ & U=\begin{bmatrix}a_1& b_1& c_1\\a_2& b_2& c_2\\a_3& b_3& c_3 \end{bmatrix}\end{align}

행렬 U는 정규직교행렬이므로 $U^T·U = I$이 성립합니다(식 5).

\begin{align}\tag{식 5}&\begin{bmatrix}a_1& a_2& a_3\\b_1& b_2& b_3\\c_1& c_2& c_3 \end{bmatrix} \begin{bmatrix}a_1& b_1& c_1\\a_2& b_2& c_2\\a_3& b_3& c_3 \end{bmatrix}\\ &=\begin{bmatrix}a_1^2+a_2^2+a_3^2& a_1b_1+a_2b_2+a_3b_3& a_1c_1+a_2c_2+a_3c_3\\a_1b_1+a_2b_2+a_3b_3& b_1^2+b_2^2+b_3^2& b_1c_1+b_2c_2+b_3c_3\\a_1c_1+a_2c_2+a_3c_3& b_1c_1+b_2c_2+b_3c_3& c_1^2+c_2^2+c_3^2\end{bmatrix} \\ & \begin{bmatrix}1& 0 & 0\\ 0& 1& 0\\0& 0& 1 \end{bmatrix}\end{align}

식 5는 식 6과 같이 정리됩니다.

\begin{align}\tag{식 6} & \begin{bmatrix}a^Ta& a^Tb & a^Tc\\a^Tb& b^Tb& b^Tc\\a^Tc& b^Tc& c^Tc \end{bmatrix} = \begin{bmatrix}1& 0 & 0\\ 0& 1& 0\\0& 0& 1 \end{bmatrix} \\ & \Rightarrow \; \begin{cases}a^Ta=b^Tb=c^Tc=1 \\ a^Tb=a^Tc=b^Tc=0\end{cases} \end{align}

위 정규직교의 특성 중 식 3은 다음 예로 확인합니다.

예 2)

정규 직교 행렬 U에 대해 식 3의 성립 여부를 조사해 봅니다.

$$U=\begin{bmatrix}\sqrt{\frac{1}{2}} & \frac{2}{3}\\ \sqrt{\frac{1}{2}} & -\frac{2}{3}\\ 0 & \frac{1}{3}\end{bmatrix}$$

U=np.array([[1/2**0.5, 2/3], [1/2**0.5, -2/3], [0, 1/3]])
print(np.around(U, 3))

[[ 0.707  0.667]
[ 0.707 -0.667]
[ 0.     0.333]]

print(np.dot(U.T, U).round(3))

[[1. 0.]
 [0. 1.]]

x=np.array([[2**0.5],[3]])
y=np.array([[4], [6]])
Ux=np.dot(U,x)
Uy=np.dot(U, y)
#‖Ux‖=‖x‖
la.norm(Ux)==la.norm(x)

True

#(Ux)·(Uy)=x·y
UxUy=np.dot(Ux.T,Uy)
print(UxUy)

[[23.65685425]]

xy=np.dot(x.T,y)
print(xy)

[[23.65685425]]

np.allclose(UxUy, xy)

True

예 3)

다음 행렬 U는 직교 행렬입니까?

$$U=\begin{bmatrix}3& -4& 0\\ 4& 3& 0\\ 0& 0& 5\end{bmatrix}$$

U=np.array([[3, -4, 0],[4, 3, 0],[0,0,5]], dtype=np.float64)
print(U)

[[ 3. -4.  0.]
[ 4.  3.  0.]
[ 0.  0.  5.]]

U_norm=la.norm(U, axis=0)
print(U_norm)

[5., 5., 5.]

U1=U/U_norm #U를 단위 행렬로 전환
print(U1)

[[ 0.6 -0.8  0. ]
[ 0.8  0.6  0. ]
[ 0.   0.   1. ]]

np.allclose(U1.T, la.inv(U1))

True

위 행렬의 단위 행렬에서 전치 행렬과 역행렬이 같습니다. 그러므로 직교 행렬입니다.