[Linear Algebra] 이차형식(Quadratic forms)

이차형식(Quadratic forms)

ax² + bxy + cy²과 같은 이차식은 식 1과 같이 행렬 형태로 나타낼 수 있습니다.

\begin{align} ax_1^2 + bx_1x_2 + cx_2^2 & = \begin{bmatrix}x_1& x_2\end{bmatrix} \begin{bmatrix} a&\frac{b}{2}\\\frac{b}{2}&c \end{bmatrix} \begin{bmatrix} x_1\\x_2\end{bmatrix}\\ \tag{식 1} Q(x)& = x^TAx\\ &A:\; \text{대칭행렬} \\ & x:\; \text{변수벡터} \end{align}

식 1과 같이 이차식을 Q(x)로 표시하면 변수벡터와 ℝ²차원의 대칭행렬인 계수행렬의 내적으로 나타낼 수 있습니다.

가장 간단한 이차 형태는 Q(x) = x^TIx =‖x‖²입니다. 위 Q에서 대칭 행렬 A의 대각원소들은 2차항의 계수이며 대각 외 요소들 중에 대칭된 요소들의 합은 1차 항들의 계수가 됩니다. 그러므로 ℝ²차원의 항등행렬(I)을 표준행렬로 적용하는 경우는 식 2의 이차식을 나타낸 것입니다.

$$\tag{식 2}\begin{bmatrix}x_1& x_2\end{bmatrix}\begin{bmatrix}1& 0\\0& 1\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=x_1^2+x_2^2$$

식 1에서 A는 대칭행렬을 나타냅니다. 이 행렬의 대각원소들은 2차항의 계수이며 대각 외 원소들의 합은 1차 항들의 계수가 됩니다. 예를 들어 이차식의 형태 ax²+bxy +cx²는 식 2와 같이 행렬 형태로 나타낼 수 있습니다.

예 1)

대각 행렬 A와 B를 이차 형태로 표현합니다.

$$A=\begin{bmatrix}4 & 0 \\ 0 & 3 \end{bmatrix} \quad B=\begin{bmatrix}4& 1& 1\\1& 3& 1\\1& 1& 2\end{bmatrix}$$

행렬 A와 B의 식을 작성하기 위해서는 각각 두 개, 세 개의 변수가 필요합니다. 이 변수는 sympy.symbols() 함수에 의해 생성합니다. 먼저 A를 계수행렬로 하는 이차식은 다음과 같습니다.

x1,x2, x3=symbols("x1 x2 x3")
A=Matrix([[4,0],[0,3]])
x=Matrix([[x1],[x2]])
Q_A=x.T*A*x
Q_A

[4x12 + 3x22]

위 결과와 같이 A의 대각요소들은 이 식의 가장 높은 차수인 2차의 계수가 되며 대각외요소들은 0이므로 1차변수는 존재하지 않습니다.

B의 경우는 3×3의 대칭행렬이므로 3개의 변수가 필요합니다. 3개의 변수에 대한 이차식은 $x_1^2,\, x_2^2,\,x_3^2,\, x_1x_2,\, x_2x_3,\, x_1x_3$로 구성됩니다. B의 대각요소들은 이차변수들의 계수가 되며 대각외요소들은 나머지 변수들의 계수가 됩니다.

B=Matrix([[4,1,1],[1,3,1],[1,1,2]])
x_1=Matrix([[x1],[x2],[x3]])
Q_B=x_1.T*B*x_1
expand(Q_B)

$[4x_1^2+2x_1x_2+2x_2x_3+3x_3^2+2x_2x_3+2x_2^2]$

식 3은 행렬 B와 같은 ℝ³차원의 이차식에 대한 계수행렬을 일반화한 것입니다.

\begin{align}\tag{3} \text{a}x_{12} &+ \text{b}x_{22} + \text{c}x_{33} + \text{d}x_1x_2 + \text{e}x_1x_3 + \text{f}x_2x_3\\ \rightarrow B& =\begin{bmatrix} \text{a}&\frac{\text{d}}{2}&\frac{\text{e}}{2}\\\frac{\text{d}}{2}&\text{b}&\frac{\text{f}}{2}\\\frac{\text{e}}{2}&\frac{\text{f}}{2}&\text{c} \end{bmatrix} \end{align}

예 2)

행렬 A에 의한 이차형태를 나타냅니다.

$$A=\begin{bmatrix}3&2&0\\2&2&1\\0&1&0\end{bmatrix} \quad x=\begin{bmatrix} x_1\\x_2\\x_3\end{bmatrix}$$

x1, x2, x3=sp.symbols("x1 x2 x3")
A=sp.Matrix([[3,2,0],[2,2,1],[0,1,0]])
x=sp.Matrix(3,1,[x1, x2, x3])
sp.simplify(x.T*A*x)

$[3 x_{1}^{2} + 4 x_{1} x_{2} + 2 x_{2}^{2} + 2 x_{2} x_{3}]$

예 3)

다음 이차식을 행렬로 나타내봅니다.

$$Q(x) = 5x_1^2+3x_2^2+2x_3^2-x_1x_2+8x_2x_3$$

A=np.diag([5., 3., 2.])
print(A)

[[5. 0. 0.]
 [0. 3. 0.]
 [0. 0. 2.]]

A[0, 1]=A[1,0]=-0.5
A[1,2]=A[2,1]=4
print(A)

[[ 5.  -0.5  0. ]
 [-0.5  3.   4. ]
 [ 0.   4.   2. ]]

행렬의 이차 형태는 유사 변환(similarity transform)과 동일한 형태를 갖습니다. 즉, 위 행렬 A를 조정함으로서 다양한 유사(similarity)행렬을 생성할 수 있습니다. 대칭행렬 A에 대한 스펙트럼분해의 대각행렬을 적용하면 다른 변수들간의 곱(교차항)을 제거한 원래 이차식을 단순화된 식으로 변환할 수 있습니다. 물론 이 변환된 식은 A의 고유값으로 구성된 행렬이므로 원래식의 특성을 포함합니다.

이차식의 표준(계수)행렬인 A는 대칭 행렬이므로 가역행렬이라는 조건을 충족한다면 고유 행렬은 직교 기저 행렬(orthogonal base matrix)(직교집합(Orthogonal Set)과 선형결합 참조)이 되므로 식 4를 성립합니다.

\begin{align}\tag{식 4}A&=PDP^{-1} \\ & =PDP^T \\& P:\;\text{고유행렬} \\& D:\;\text{고유값들로 구성되는 대각행렬}\end{align}

la.det(A).round(2)

-50.5

d, P=la.eig(A)
D=np.diag(d)
print(D.round(2))

[[ 4.93  0.    0.  ]
 [ 0.    6.62  0.  ]
 [ 0.    0.   -1.55]]

print(P.round(2))

[[-0.97  0.23 -0.05]
 [-0.14 -0.74 -0.66]
 [-0.19 -0.64  0.75]]

print(P.round(2))

True

그러므로 식 5와 같이 기저행렬인 P와의 선형결합은 선형독립이므로 y는 유일한 해벡터가 됩니다. 다시말하면 P에 의해 특정한 벡터 x에 대응하는 특정한 y가 결정할 수 있습니다.

$$\tag{식 5} x=Py \Leftrightarrow x_p=y$$

식 5를 적용하면 식 6을 나타낼 수 있습니다. 이 식의 A는 이차식의 계수들로 구성된 표준행렬이며 D는 A의 고유값들을 대각요소로 하는 대칭행렬입니다. 결과적으로 식 6에 의해 이차식 A는 교차항이 제거된 간단한 형태로 전환될 수 있음을 의미합니다.

\begin{align} x^TAx &= (Py)^TA(Py) \\ &= y^TP^TAPy\\ \tag{6} &= y^T(P^TAP)y\\&= y^TDy\\ \because\; A &= PDP^{-1} \rightarrow P^{-1}AP= P^TAP=D \end{align}

예4)

다음의 이차형태 x^TAx를 y^TDy로 변환하기 위해 변수 x = Py를 사용합니다.

$$3x_1^2 + 3x_2^2 + 5x_3^2 + 6x_1 x_2 + 2x_1 x_3 + 2x_2 x_3 = 7y_2^2 + 4y_3^2$$

위 좌항의 이차 형태의 계수행렬(A)의 고유 행렬 P를 사용하여 우항이 됨을 확인합니다.

다음 행렬 A는 위 식 좌항의 이차형태를 나타냅니다. 다음 결과와 같이 행렬 A의 고유행렬 P는 P^T = P^-1가 성립합니다. 즉, 정규직교기저행렬입니다.

A=np.array([[3,3,1],[3, 3, 1],[1,1,5]])
d, P=la.eig(A)
np.allclose(P.T, la.inv(P))

True

그러므로 행렬 A의 고유값으로 구성된 대각행렬과 새로운 변수 y를 적용하여 간단한 형태로의 변형이 가능합니다.

D=np.diag(d)
print(D)

[[0. 0. 0.]
 [0. 7. 0.]
 [0. 0. 4.]]

y1, y2,y3=symbols("y1 y2 y3")
y=Matrix(3, 1, [y1, y2, y3])
print(y)

Matrix([[y1], [y2], [y3]])

[N(i, 2) for i in y.T*Matrix(D)*y]

[7.0*y2**2 + 4.0*y3**2]

예 5)

다음 식의 이차 행렬을 사용하여 교차곱(cross-product)을 제거한 새로운 이차식을 생성해 봅니다.

$$Q(x) = x_1^2 − 8x_1x_2 − 5x_2^2$$

A=np.array([[1, -4],[-4, -5]])
print(A)

[[ 1 -4]
 [-4 -5]]

la.det(A)

-21.0

d, P=la.eig(A)
D=np.diag(d)
print(D)

[[ 3.  0.]
 [ 0. -7.]]

np.allclose(P.T, la.inv(P))

True

위 결과는 Q의 이차형식을 나타내는 행렬 A의 고유행렬은 정규직교기저이므로 교차항이 제거된 간단한 형태의 2차항을 생성할 수 있습니다.

y1, y2=symbols("y1 y2")
y=Matrix(2, 1, [y1, y2])
print(y)

Matrix([[y1], [y2]])

[N(i, 2) for i in y.T*Matrix(D)*y]

[3.0*y1**2 - 7.0*y2**2]

식 5.4.7은 위 결과를 나타낸 것입니다.

$$\tag{식 7} Q(y) = 3y_1^2 - 7y_2^2$$