[Linear Algebra] 열공간(Column Space)과 행공간(row space)

열공간(Column Space)과 행공간(row space)

m×n 형태의 행렬 A의 기저(Basis) 벡터들의 집합을 열공간(column space)라고 하며 Col A로 나타냅니다.

예 1)

다음 표준 행렬 A의 열공간을 계산해봅니다.

$$\begin{bmatrix} -3&6&-1&1&-7\\1&-2&2&3&1\\2&-4&5&8&-4\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\\x_4\\x_5 \end{bmatrix}=\begin{bmatrix} 0\\0\\0\end{bmatrix}$$

위 식을 일반 선형시스템으로 나타내면 식 1과 같습니다.

\begin{align}3x_1 + 6x_2 - x_3 + x_4 - 7x_5&= 0\\ x_1 - 2x_2 + 2x_3 + 3x_4 + x_5& = 0\\ 2x_1 - 4x_2 + 5x_3 + 8x_4 - 4x_5& = 0\end{align}

(식 1)

A=np.array([[-3, 6, -1, 1, -7],[1,-2,2,3,-1],[2, -4, 5, 8, -4]])
c=np.zeros([3,1])
Matrix(np.hstack([A,c])).rref()

(Matrix([
 [1, -2.0, 0, -1.0,  3.0, 0],
 [0,    0, 1,  2.0, -2.0, 0],
 [0,    0, 0,    0,    0, 0]]),
 (0, 2))

행렬 A의 기약행사다리꼴에서 0과 2열이 피봇열(pivot column)입니다. 즉, 두 열벡터가 기저 벡터가 되며 이 기저 벡터들과 나머지 벡터들과의 선형 독립이 성립됩니다. 이 관계를 확인해 봅니다.

먼저 2열의 벡터와의 선형결합을 조사합니다.

#기저벡터
A_b=A[:,[0, 2]]
#Ab=A의 1열
A_bA1=np.hstack([A_b, A[:,1].reshape(-1,1)])
Matrix(A_bA1).rref()

(Matrix([
[1, 0, -2],
[0, 1,  0],
[0, 0,  0]]),
(0, 1))

위 결과는 선형독립임을 나타냅니다. 위와 같은 방법으로 3과 4열에 대한 선형결합을 조사하면 다음과 같습니다.

A_bA3=np.hstack([A_b, A[:,3].reshape(-1,1)])
Matrix(A_bA3).rref()

(Matrix([
[1, 0, -1],
[0, 1,  2],
[0, 0,  0]]),
(0, 1))

A_bA4=np.hstack([A_b, A[:,4].reshape(-1,1)])
Matrix(A_bA4).rref()

(Matrix([
[1, 0,  3],
[0, 1, -2],
[0, 0,  0]]),
(0, 1))

위의 모든 선형결합은 선형독립입니다. 즉, A₁, A₃, A₄ 벡터들은 모두 A₀, A₂ 벡터를 스판으로 하는 부분공간입니다. 결과적으로 행렬 A에서 기저 벡터는 A₀, A₂이며 이들이 열공간(columnspace)이 됩니다.

행렬의 열공간은 sympy의 columnspace() 함수에 의해 확인할 수 있습니다.

for i in Matrix(A).columnspace():
    print(i)

Matrix([[-3], [1], [2]])
Matrix([[-1], [2], [5]])

위 결과 즉, 행렬 A의 열공간은 식 2와 같이 나타냅니다.

$$\text{Col A = span}\left\{\begin{bmatrix}-3\\1\\2\end{bmatrix}, \quad \begin{bmatrix}-1\\2\\5\end{bmatrix} \right\}$$

(식 2)

위 결과는 다음과 같이 정의할 수 있습니다.

열공간(column space)

• 선형 결합의 표준행렬에서 기저벡터들의 집합
• 표준 행렬의 기약행사다리꼴에서 피벗 열에 대응하는 열벡터들
• 기저벡터의 수가 열공간의 차원이 됩니다.

예 2)

벡터 집합 W의 열공간을 계산해 봅니다.

$$W=\left\{6a-b\\a+b\\-7a \right\}$$

W는 식 3과 같이 표준행렬 A와 변수벡터 x의 내적곱으로 나타낼수 있습니다.

\begin{align}& A=\begin{bmatrix}6&-1\\1&1\\-7&0\end{bmatrix},\quad x=\begin{bmatrix}a\\b\end{bmatrix}\\&\begin{bmatrix}6&-1\\1&1\\-7&0\end{bmatrix}\begin{bmatrix}a\\b\end{bmatrix}= \begin{bmatrix}0\\0\\0\end{bmatrix}\end{align}

(식 3)

행렬 A의 모든 열 벡터들이 열공간 즉, 기저라면 x와의 동차선형결합은 선형독립입니다.

A=np.array([[6,-1],[1,1],[-7,0]])
c=np.zeros([3,1])
Matrix(np.hstack([A,c])).rref()

(Matrix([
[1, 0, 0],
[0, 1, 0],
[0, 0, 0]]),
(0, 1))

위 결과와 같이 행렬 A의 모든 열 벡터들은 기저가 되므로 열공간 Col A가 됩니다. Col A는 식 4와 같이 두 개의 기저 벡터들로 구성된 스판으로 나타낼 수 있습니다.

$$\text{Col A}=\text{span} \left\{\begin{bmatrix}6\\1\\-7 \end{bmatrix}, \quad \begin{bmatrix}-1\\1\\0 \end{bmatrix}\right\}$$

(식 4)

for i in Matrix(A).columnspace():
    print(i)

Matrix([[6], [1], [-7]])
Matrix([[-1], [1], [0]])

행렬을 전치시키면 원래 행렬의 열벡터는 행벡터가 된다. 이러한 경우 전치시키기 전의 열공간은 전치시킨 후의 행공간이 됩니다. 행렬 A의 행공간(row space)은 Row A로 나타냅니다.

예 3)

다음 행렬 M의 열공간을 결정해 봅니다.

$$M=\begin{bmatrix}-2& -5& 8& 0& -17\\1& 3& -5& 1& 5\\3& 11& -19& 7& 1\\1& 7& -13& 5& -3\end{bmatrix}$$

M=np.array([[-2,-5, 8, 0, -17], [1, 3, -5, 1, 5], [3, 11, -19, 7, 1], [1, 7, -13, 5, -3]])
print(M)

[[ -2  -5   8   0 -17]
 [  1   3  -5   1   5]
 [  3  11 -19   7   1]
 [  1   7 -13   5  -3]]

열공간은 행렬 M의 동차시스템에 대한 확대행렬의 기약 행 사다리꼴(rref)를 사용하여 결정할 수 있습니다.

c=np.zeros([4, 1])
au=np.hstack([M, c])
Matrix(au).rref()

(Matrix([
[1, 0,  1.0, 0,  1.0, 0],
[0, 1, -2.0, 0,  3.0, 0],
[0, 0,    0, 1, -5.0, 0],
[0, 0,    0, 0,    0, 0]]),
(0, 1, 3))

위 결과에서 0, 1, 3열 벡터가 피벗 열이므로 이들에 대응하는 벡터들이 열공간이 됩니다.

for i in Matrix(M).columnspace():
    print(i)

Matrix([[-2], [1], [3], [1]])
Matrix([[-5], [3], [11], [7]])
Matrix([[0], [1], [7], [5]])

위 열벡터들은 기저 벡터가 되며 나머지 열벡터들과 선형독립입니다. 기저벡터들과 나머지 벡터들 사이의 생성되는 선형결합은 모두 선형독립이며 각가 3개의 기저벡터를 가질 것입니다. 행렬에서 기저벡터의 수는 급수(rank)로 나타내며 numpy.linalg.matrix_rank() 함수로 계산할 수 있습니다.

la.matrix_rank(np.hstack([M[:,[0,1,3]], M[:,2].reshape(-1,1)]))

3

행렬 M에 대한 선형결합의 변수 x₀, x₁, x₃는 x₂ 및 x₄에 의존하며 모든 해집합은 식 5와 같이 표현 될 수 있습니다.

$$\begin{bmatrix}x_1\\x_2\\x_3\\x_4\\x_5 \end{bmatrix}=\begin{bmatrix}-x_3-x_5\\2x_3-3x_5\\x_3\\5x_4\\x_5\end{bmatrix}= x_3\begin{bmatrix}-1\\2\\1\\0\\5 \end{bmatrix}+ x_5\begin{bmatrix}-1\\-3\\0\\5\\1\end{bmatrix}$$

(식 5)

식 5의 마지막 오른쪽 식의 두 벡터들은 영공간이 됩니다. 즉,해집합의 기저입니다.

for i in Matrix(M).nullspace():
    print(i)

Matrix([[-1], [2], [1], [0], [0]])
Matrix([[-1], [-3], [0], [5], [1]])

예 4)

다음 표준행렬 A의 열공간에 p의 포함 여부를 결정해 봅니다.

$$A=\begin{bmatrix}-3&-2&0\\0&2&-6\\6&3&3\end{bmatrix}\quad p=\begin{bmatrix}1\\14\\-9\end{bmatrix}$$

A=np.array([[-3,-2, 0], [0, 2, -6],[6, 3, 3]])
p=np.array([[1], [14], [9]])
Ap=np.hstack([A, p])
print(Ap)

[[-3 -2  0  1]
 [ 0  2 -6 14]
 [ 6  3  3  9]]

Matrix(Ap).rref()

(Matrix([
[1, 0,  2, 0],
[0, 1, -3, 0],
[0, 0,  0, 1]]),
(0, 1, 3))

위 결과와 같이 표준행렬 A와 벡터 p를 결합할 경우 기약 행 사다리꼴은 p가 피벗열임을 나타냅니다. 즉, p는 행렬 A와 결합에서 기저벡터가 되므로 열공간에 포함됨을 의미합니다.

예 5)

다음 행렬 A의 영공간과 열공간은 각각 ℝ^p와 ℝ^q의 부분 공간입니다. p와 q를 결정해 봅니다.

$$\begin{bmatrix}3&2& 1& -5\\-9& -4& 1& 7\\9& 2& -5& 1\end{bmatrix}$$

A=Matrix([[3,2, 1, -5], [-9, -4, 1, 7], [9, 2, -5, 1]])
A.rref()

(Matrix([
[1, 0, -1,  1],
[0, 1,  2, -4],
[0, 0,  0,  0]]),
(0, 1))

행렬 A는 2개의 피벗열과 2개의 자유변수를 포함합니다. 그 두 개에 자유변수에 대응하는 벡터들이 영공간이 됩니다. 영공간은 자유변수들로 구성된 선형시스템의 기저벡터(들)를 의미합니다. 즉, 그 수가 영공간의 차원이 되므로 p는 2입니다.

for i in A.nullspace():
    print(i)

Matrix([[1], [-2], [1], [0]])
Matrix([[-1], [4], [0], [1]])

행렬 A의 열공간은 선형결합에서의 기저벡터(들)을 나타내며 그 수가 열공간의 차원이 됩니다. 그러므로 q는 2가 됩니다.

for i in A.columnspace():
    print(i)

Matrix([[3], [-9], [9]])
Matrix([[2], [-4], [2]])

p = 2, q = 2이므로 Nul A, Col A 모두 2차원의 부분공간입니다.

Nul A ⊂ ℝ², Col A ⊂ ℝ²

예 6)

x₂ = x₃인 ℝ⁴의 부분 공간의 기저를 결정합니다.

\begin{align}0x_1+x_2-x_3+0x_4&=0\\\Rightarrow \begin{bmatrix}0&1&-1&0 \end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\\x_4 \end{bmatrix}&=0\end{align}

4개의 변수를 가진 식에서 x₂ = x₃은 식 6과 같이 벡터로 나타낼 수 있습니다.

$$\begin{bmatrix}x_1\\x_2\\x_3\\x_4\end{bmatrix}=\begin{bmatrix}x_1\\x_2\\x_2\\x_4\end{bmatrix}=\begin{bmatrix}x_1\\x_3\\x_3\\x_4\end{bmatrix}$$

(식 6)

식 6의 우항을 표준 행렬 S라고 하면 식 7과 같이 나타낼 수 있습니다.

$$S=\begin{bmatrix}1&0&0&0\\0&1&0&0\\0&1&0&0\\0&0&0&1\end{bmatrix}= \begin{bmatrix}1&0&0&0\\0&0&1&0\\0&0&1&0\\0&0&0&1\end{bmatrix}$$

(식 7)

각 행렬의 피벗열이 기저 벡터가 됩니다. 식 6의 우항의 첫번째와 두번째 행렬을 각각 S1, S2라고 하면 각각의 기약 행 사다리꼴로 부터 피벗열을 결정하면 다음과 같습니다.

S1=np.array([[1, 0, 0, 0], [0, 1,0, 0], [0,1,0,0],[0,0,0,1]])
Matrix(S1).rref()

(Matrix([
[1, 0, 0, 0],
[0, 1, 0, 0],
[0, 0, 0, 1],
[0, 0, 0, 0]]),
(0, 1, 3))

S2=np.array([[1, 0, 0, 0], [0,  0, 1, 0], [0, 0, 1,0],[0,0,0,1]])
Matrix(S2).rref()

(Matrix([
[1, 0, 0, 0],
[0, 0, 1, 0],
[0, 0, 0, 1],
[0, 0, 0, 0]]),
(0, 2, 3))

위 결과로 S는 3개의 기저벡터를 가지므로 이들이 S의 span이 됩니다 (식 8).

$$\text{S = span}\left\{\begin{bmatrix}1\\0\\0\\0\end{bmatrix},\quad \begin{bmatrix}0\\1\\1\\0\end{bmatrix},\quad \begin{bmatrix}0\\0\\0\\1\end{bmatrix}\right\}$$

(식 8)

이 결과는 예제의 표준행렬의 영공간(nullspace)이 됩니다.

A=np.array([[0, 1, -1, 0]])
for i  in Matrix(A).nullspace():
    print(i)

Matrix([[1], [0], [0], [0]])
Matrix([[0], [1], [1], [0]])
Matrix([[0], [0], [0], [1]])

예 7)

3×5 형태의 행렬 A는 3개의 피벗열을 가집니다. 이 경우 열공간의 차원과 영공간을 차원을 결정합니다.

행렬 A의 피벗열은 그 행렬의 기저 벡터가 되고 열공간이 됩니다. 그러므로 ℝ³이 됩니다. 영공간은 행렬 A의 모든 해집합의 기저입니다. 이것은 A의 자유변수의 수와 같으므로 영공간의 차원은 2가 됩니다. 즉, ℝ²가 됩니다.