[Linear Algebra] 선형결합(Linear combination)

선형결합(Linear combination)

선형결합(Linear Combination)

v₁, v₂, …, v_n으로 이루어진 벡터 집합 V와 c₁, c₂, …, c_n로 구성된 스칼라 집합 C를 고려해봅니다. 식 1은 V와 C사이의 "가중치 × 벡터"의 관계를 나타낸 것입니다. 다시말하면 이 식은 벡터와 스칼라의 두 집합사이에 선형 결합(linear combination) 관계를 의미하는 것입니다.

\begin{align}\tag{1} y &= c_1v_1 + c_2v_2 + \cdots + c_nv_n\\ &= \begin{bmatrix} v_1& v_2&\cdots& v_n\end{bmatrix}\begin{bmatrix}c_1\\c_2\\\vdots\\c_n\end{bmatrix}\\ &= VC \end{align}

(식 1)

식 1에서 V는 선형결합의 계수벡터들로 구성된 표준행렬(standard matrix), C는 스칼라로 구성된 변수벡터를 나타냅니다. 예를 들어 식 2는 2개의 변수와 각 변수의 계수 그리고 그들의 선형 결합의 결과인 상수로 구성된 3개의 식을 나타낸 것입니다.

\begin{align}\begin{bmatrix}c_1\\c_2\\c_3 \end{bmatrix}&=\begin{bmatrix} a_1\\a_2\\a_3 \end{bmatrix}x+\begin{bmatrix} b_1\\b_2\\b_3\end{bmatrix}y\\& = \begin{bmatrix} a_1& b_1\\a_2 & b_2\\ a_3 & b_3\end{bmatrix}\begin{bmatrix}x\\ y \end{bmatrix}\\ \Rightarrow\;&\begin{aligned} c_1&=a_1x + b_1y \\ c_2&=a_2x + b_2y \\c_3&=a_3x + b_3y\end{aligned}\end{align}

(식 2)

import numpy as np
import numpy.linalg as la
from sympy import *
import matplotlib.pyplot as plt

a=np.array([1,-2,-5])
b=np.array([2,5,6])
c=np.array([7,4,-3])
A=np.c_[a, b]
print(A)

[[ 1  2]
 [-2  5]
 [-5  6]]

위 결과를 행렬시스템으로 정리하면 식 3과 같습니다.

$$\begin{bmatrix}7\\4\\3 \end{bmatrix}=\begin{bmatrix}1&2\\-2&5\\-5&6 \end{bmatrix} \begin{bmatrix}x\\y \end{bmatrix}$$

(식 3)

식 3의 표준행렬은 정방 행렬이 아니므로 기약 행 사다리꼴 형태를 적용하여 해집합을 계산할 수 있습니다. 즉, 표준행렬(A)과 상수 벡터(c)의 결합인 확대 행렬에 sympy객체.rref() 메소드를 적용합니다.

위 코드의 A, c 모두 numpy 배열 객체이므로 sympy의 함수 또는 메소드를 적용하기 위해서는 sympy 객체로 전환하여야 합니다. 그러나 sympy 역시 python의 리스트형을 기본으로 하므로 numpy와 sympy 객체의 전환은 자연스럽게 이루어집니다.

Ac=np.c_[A, c]
print(Ac)

[[ 1  2  7]
 [-2  5  4]
 [-5  6 -3]]

Matrix() 함수를 적용하여 numpy.array 형의 객체를 sympy 객체로 변환합니다.

Matrix(Ac).rref()

(Matrix([
 [1, 0, 3],
 [0, 1, 2],
 [0, 0, 0]]),
 (0, 1))

식 3는 식 4와 같은 연립방정식을 나타냅니다. 위 결과는 그 연립방정식의 변수 x와 y의 해가 각각 3과 2임을 나타냅니다.

\begin{align} x + 2y& = 7\\ -2x + 5y &= 4\\ -5x + 6y & = 3\end{align}

(식 4)

x와 y의 해가 각각 단일해라는 것은 식 4의 세 직선이 한 점에서 교차함을 의미하는 것으로 그림 1과 같이 나타낼 수 있습니다.

그림 1. 세개 직선의 교차점.

x=np.linspace(-0.5, 6, 100)
y1=(7-x)/2
y2=(4+2*x)/5
y3=(-3+5*x)/6
fig, ax=plt.subplots(figsize=(4,3))
ax.plot(x,y1, color="g", label=r"$\frac{7-x}{2}$")
ax.plot(x, y2, color="b", label=r"$\frac{4+2x}{5}$")
ax.plot(x, y3, color="r", label=r"$\frac{-3+5x}{6}$")
ax.scatter(3, 2, s=50, c="k")
ax.spines['left'].set_position(("data", 0))
ax.spines['bottom'].set_position(("data", 0))
ax.spines['right'].set_visible(False)
ax.spines['top'].set_visible(False)
ax.legend(loc="upper center", labelcolor=['g', 'b', 'r'], frameon=False)
ax.set_xticks(np.arange(-0, 6))
ax.set_yticks(np.arange(-1, 8))
plt.show()

결과적으로 선형결합이 성립한다는 것은 해가 존재한다는 것을 의미하는 것으로 다음과 같이 나타낼 수 있습니다.

선형 결합이 성립 ⇔ 선형시스템의 해가 존재

위 예에서 표준 행렬 A와 상수 벡터 c사이에 선형 결합이 성립한다는 것은 해가 존재함을 의미합니다. 또한 그림 2에서 나타낸 것과 같이 상수 벡터 c는 행렬 A의 열벡터들인 벡터 a, b에 의해 형성된 공간 내에 존재한다고 할 수 있습니다.

그림 2 벡터 c의 스판 a, b.

이러한 관계에 있는 벡터들 a와 b는 벡터 c의 스판(span)이라 하며 식 5와 같이 나타냅니다.

스판 (Span)

특정한 벡터 b가 x, y, … 들의 벡터들이 공유되는 영역에서 포함되면 그 벡터들은 b의 스판이 되며 식 5와 같이 나타냅니다.

b = Span{x, y, …}

(식 5)

다시말하면 식 5는 벡터 x, y, …들로 구성된 행렬과 벡터 b사이에 선형결합이 성립함을 의미합니다.

예 1)

다음 열벡터들 간의 선형 결합성을 조사합니다.

$$a_1=\begin{bmatrix}1\\-2\\3 \end{bmatrix}\quad b_1=\begin{bmatrix}5\\-13\\-3\end{bmatrix} \quad c_1=\begin{bmatrix}-3\\8\\1 \end{bmatrix}$$

a1=np.array([1,-2,3])
a2=np.array([5, -13, -3])
b=np.array([-3,8,1])
A=np.c_[a1,a2]
print(A)

[[  1   5]
 [ -2 -13]
 [  3  -3]]

aug=np.c_[A, b]
print(aug)

[[  1   5  -3]
 [ -2 -13   8]
 [  3  -3   1]]

Matrix(aug).rref()

(Matrix([
 [1, 0, 0],
 [0, 1, 0],
 [0, 0, 1]]),
 (0, 1, 2))

위 결과의 3행 0x + 0y = 1은 성립될 수 없습니다. 그림 3(a)에서 나타낸 것과 같이 직선들의 교차점은 존재하지 않습니다. 즉, 이 시스템의 해는 존재하지 않기 때문에 세 벡터 사이의 선형 결합은 성립되지 않는 모순된 시스템(inconsistent system)입니다. 그림 3(b)는 이 시스템을 구성하는 세개의 벡터를 나타낸 것으로 벡터 a1과 a₂의 확대 또는 축소에 의한 공간에 벡터 b를 포함할 수 없습니다. 그러므로 벡터들 사이의 span 관계는 성립할 수 없습니다.

그림 3. 모순된시스템.

선형 결합의 특성

위 과정으로부터 선형결합의 특성을 정의할 수 있습니다(Ax = b).

• 해 집합이 존재합니다.
  • ⇔ 표준 행렬 A를 구성하는 열벡터들은 상수 벡터인 b와 선형 결합이 성립
  • ⇔ A의 열벡터( a₁, a₂, …, a_n)가 R의 부분 공간이라면 b 역시 R의 부분 공간
  • ⇔ a₁, a₂, …, a_n ⊂ R ≡ b ⊂ R
  • ⇔ R = Span{a₁, a₂, …, a_n}
• 유일한 해 집합이 존재
  • ⇔ A는 모든 행에 피벗위치를 포함(모든 변수가 선도변수)
  • ⇔ 자유 변수가 존재하지 않음
  • ⇔ 역행렬이 존재

예 2)

다음 Ax = b의 해집합을 계산해 봅니다.

$$A=\begin{bmatrix}1& 5& -2& 0\\-3& 1& 9& -5\\4& -8& -1& 7 \end{bmatrix} \quad b=\begin{bmatrix} -7\\9\\0\end{bmatrix}$$

A=np.array([[1,5,-2,0],[-3,1, 9,-5],[4, -8, -1, 7]])
b=np.array([-7,9,0]).reshape(3,1)
Ab=np.hstack([A, b])
print(Ab)

[[ 1  5 -2  0 -7]
 [-3  1  9 -5  9]
 [ 4 -8 -1  7  0]]

Matrix(Ab).rref()

(Matrix([
 [1, 0, 0,  8/7, -11/7],
 [0, 1, 0, -2/7,  -6/7],
 [0, 0, 1, -1/7,   4/7]]),
 (0, 1, 2))

위 결과의 기약행사다리꼴형은 3개의 피봇열을 가집니다. 즉, 3개의 선도변수와 1개의 자유변수를 가지므로 그 자유변수의 값에 따라 다양한 해들을 가질 수 있습니다.