[Linear Algebra] 직교집합(Orthogonal Set)과 선형결합

직교집합(Orthogonal Set)과 선형결합

ℝⁿ 차원에서 식 1과 같이 내적이 0인 모든 벡터들의 집합 u₁, u₂, …, u_p를 직교집합(orthogonal set)이라고 합니다(직교벡터(Orthogonal vectors) 참조).

$$u_i\cdot u_j=0,\quad i \ne j$$

(식 1)

예 1)

다음 벡터 집합이 직교 집합인지를 결정해봅니다.

$$u_1=\begin{bmatrix}3\\1\\1\end{bmatrix}\quad u_2=\begin{bmatrix}-1\\2\\1\end{bmatrix} \quad u_3=\begin{bmatrix}-\frac{1}{2}\\-2\\\frac{7}{2}\end{bmatrix}$$

u1=np.array([3.,1.,1.]).reshape(3,1)
u2=np.array([-1.,2.,1.]).reshape(3,1)
u3=np.array([-1/2,-2,7/2]).reshape(3,1)
u=[u1,u2, u3]
for i, j in itertools.combinations([0,1,2], 2):
    print(np.dot(u[i].T,u[j]))

[[0.]]
[[0.]]
[[0.]]

위 결과에 의하면 벡터들 간의 내적이 모두 0이므로 세 벡터들은 모두 직교 상태입니다. 그 결과는 세 벡터를 나타낸 그림 1에서 확인할 수 있습니다.

그림 1. 직교관계인 세개의 벡터.

위 벡터들로 이루어진 동차선형결합 성립여부를 결정합니다.

U=np.hstack([u1,u2,u3])
c=np.zeros([3,1])
au=np.hstack([U,c])
Matrix(au).rref()

(Matrix([
 [1, 0, 0, 0],
 [0, 1, 0, 0],
 [0, 0, 1, 0]]),
 (0, 1, 2))

확대 행렬(au)의 rref는 모든 열이 피벗 열임을 나타내며 이 시스템의 모든 변수는 선도변수(leading variable)입니다(기약행 사다리꼴 형태 (Reduced row echelon form, rref) 참조). 그러므로 표준행렬은 기저행렬로서 이 선형시스템은 자명한(trivial) 해를 가지는 선형 독립입니다.

위 세벡터의 결합으로 생성되는 다음 정방행렬 U를 생성합니다. 위 결과와 같이 선형독립인 경우 표준행렬인 U의 행렬식은 0이 아니며 역행렬이 존재해야 합니다. 다음 코드로 확인할 수 있습니다.

 U=np.c_[u1, u2, u3]
print(U)

[[ 3.  -1.  -0.5]
 [ 1.   2.  -2. ]
 [ 1.   1.   3.5]]

 print(la.det(U))

33.000000000000014

 print(la.inv(U))

[[ 0.27272727  0.09090909  0.09090909]
 [-0.16666667  0.33333333  0.16666667]
 [-0.03030303 -0.12121212  0.21212121]]

이러한 결과는 다음과 같이 정리할 수 있습니다.

직교집합과 선형결합

0이 아닌 벡터들로 구성된 S = {u₁, u₂, …, u_p}가 직교 집합인 경우는 다음이 성립합니다.

• S는 선형독립
• S는 선형결합으로 생성되는 부분공간의 기저(기저(Basis) 벡터 참조)가 됩니다.

u₁, u₂, …, u_p가 직교집합인 경우 식 2와 같이 직교집합의 각 벡터와 특정한 스칼라(c₁, …, c_p)로 이루어지는 동차선형결합이 성립할 수 있습니다. 식 2에 사용된 스칼라들은 식 1을 적용하여 결정할 수 있습니다.

$$0=c_1u_1+c_2u_2+\cdots + c_pu_p$$

(식 2)

식 3과 같이 식 2의 좌항과 우항에 u₁을 곱한 경우는 0이 됩니다. 직교인 두 벡터의 내적은 0이므로 c₁이 0이 되어야 합니다.

\begin{align} 0\cdot u_1&=(c_1u_1+c_2u_2+\cdots + c_pu_p)\cdot u_1\\&=c_1(u_1u_1)+c_2(u_2u_1)+\cdots +c_p(u_pu_1)\\&=c_1(u_1u_1)\end{align}

(식 3)

식 4와 같이 식 3의 좌항에 0벡터가 아닌 벡터를 적용하는 선형결합에서 c₁을 계산할 수 있습니다.

\begin{align} y\cdot u_1&=(c_1u_1+c_2u_2+\cdots + c_pu_p)\cdot u_1\\&=c_1(u_1u_1)+c_2(u_2u_1)+\cdots +c_p(u_pu_1)\\&=c_1(u_1u_1)\\ & \therefore \; c_1=\frac{y\cdot u_1}{u_1u_1}\end{align}

(식 4)

식 4는 식 5와 같이 일반화 할 수 있습니다.

$$c_j=\frac{y\cdot u_j}{u_ju_j}, \quad j=1, 2, \cdots, p$$

(식 5)

예 2)

예 1의 벡터 u₁, u₂, u₃로 구성된 표준행렬과 다음 벡터 y의 선형결합은 가능합니까?

$$y=\begin{bmatrix}6\\1\\-8\end{bmatrix}$$

u₁, u₂, u₃으로 구성된 행렬 U는 다음과 같습니다.

 U=np.c_[u1, u2, u3]
print(U)

[[ 3.  -1.  -0.5]
 [ 1.   2.  -2. ]
 [ 1.   1.   3.5]]

행렬 U와 벡터 y의 선형결합은 식 6과 같습니다.

$$\begin{bmatrix}3&-1&-\frac{1}{2}\\1&2&-2\\3&1&\frac{7}{2}\end{bmatrix}\begin{bmatrix}c_1\\c_2\\c_3\end{bmatrix}=\begin{bmatrix}6\\1\\-8\end{bmatrix}$$

(식 6)

예 1의 결과와 같이 표준행렬의 각 벡터는 상호 직교이므로 기저벡터입니다. 그러므로 식 6은 선형독립이며 유일한 해를 가질 것입니다.

print(U)

[[ 3.  -1.  -0.5]
 [ 1.   2.  -2. ]
 [ 1.   1.   3.5]]

y=np.array([6,1,-8]).reshape(3,1)
print(y)

[[ 6]
 [ 1]
 [-8]]

행렬 U가 정방행렬이고 기저행렬이므로 행렬식은 0이 아니므로 역행렬을 사용하여 해를 결정할 수 있습니다. numpy.linalg.solve() 함수를 적용합니다.

la.det(U).round(3)

33.0

print(la.solve(U,y))

[[ 1.]
 [-2.]
 [-2.]]

다음과 같이 정리할 수 있습니다.

직교인 벡터들로 구성된 표준행렬에 의한 선형결합

• 선형 독립
• 일대일 반응 즉, 단사(injective)