[Linear Algebra] 이차형식(Quadratic forms)

이차형식(Quadratic forms)

ax² + bxy + cy²과 같은 이차식은 식 1과 같이 행렬 형태로 나타낼 수 있습니다.

$$\begin{array}{rl}a{x}_1^2+b{x}_1{x}_2+c{x}_2^2& =\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{cc}a& \frac{b}{2}\\ \frac{b}{2}& c\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\\ \text{(식 1)}& Q(x)& =x^{T}Ax& A:\text{대칭행렬}\\ & x:\text{변수벡터}\end{array}$$

식 1과 같이 이차식을 Q(x)로 표시하면 변수벡터와 ℝ²차원의 대칭행렬인 계수행렬의 내적으로 나타낼 수 있습니다.

가장 간단한 이차 형태는 Q(x) = x^TIx =‖x‖²입니다. 위 Q에서 대칭 행렬 A의 대각원소들은 2차항의 계수이며 대각 외 요소들 중에 대칭된 요소들의 합은 1차 항들의 계수가 됩니다. 그러므로 ℝ²차원의 항등행렬(I)을 표준행렬로 적용하는 경우는 식 2의 이차식을 나타낸 것입니다.

$$\begin{array}{}\text{(식 2)}& \left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=x_1^2+x_2^2\end{array}$$

식 1에서 A는 대칭행렬을 나타냅니다. 이 행렬의 대각원소들은 2차항의 계수이며 대각 외 원소들의 합은 1차 항들의 계수가 됩니다. 예를 들어 이차식의 형태 ax²+bxy +cx²는 식 2와 같이 행렬 형태로 나타낼 수 있습니다.

예 1)

대각 행렬 A와 B를 이차 형태로 표현합니다.

$$A=\left[\begin{array}{cc}4& 0\\ 0& 3\end{array}\right]B=\left[\begin{array}{ccc}4& 1& 1\\ 1& 3& 1\\ 1& 1& 2\end{array}\right]$$

행렬 A와 B의 식을 작성하기 위해서는 각각 두 개, 세 개의 변수가 필요합니다. 이 변수는 sympy.symbols() 함수에 의해 생성합니다. 먼저 A를 계수행렬로 하는 이차식은 다음과 같습니다.

x1,x2, x3=symbols("x1 x2 x3")
A=Matrix([[4,0],[0,3]])
x=Matrix([[x1],[x2]])
Q_A=x.T*A*x
Q_A

[4x12 + 3x22]

위 결과와 같이 A의 대각요소들은 이 식의 가장 높은 차수인 2차의 계수가 되며 대각외요소들은 0이므로 1차변수는 존재하지 않습니다.

B의 경우는 3×3의 대칭행렬이므로 3개의 변수가 필요합니다. 3개의 변수에 대한 이차식은 $x_1^2,x_2^2,x_3^2,x_1{x}_2,x_2{x}_3,x_1{x}_3$로 구성됩니다. B의 대각요소들은 이차변수들의 계수가 되며 대각외요소들은 나머지 변수들의 계수가 됩니다.

B=Matrix([[4,1,1],[1,3,1],[1,1,2]])
x_1=Matrix([[x1],[x2],[x3]])
Q_B=x_1.T*B*x_1
expand(Q_B)

$[4x_1^2+2x_1{x}_2+2x_2{x}_3+3x_3^2+2x_2{x}_3+2x_2^2]$

식 3은 행렬 B와 같은 ℝ³차원의 이차식에 대한 계수행렬을 일반화한 것입니다.

$$\begin{array}{rl}\text{(3)}& \text{a}{x}_{12}& +\text{b}{x}_{22}+\text{c}{x}_{33}+\text{d}{x}_1{x}_2+\text{e}{x}_1{x}_3+\text{f}{x}_2{x}_3\to B& =\left[\begin{array}{ccc}\text{a}& \frac{\text{d}}{2}& \frac{\text{e}}{2}\\ \frac{\text{d}}{2}& \text{b}& \frac{\text{f}}{2}\\ \frac{\text{e}}{2}& \frac{\text{f}}{2}& \text{c}\end{array}\right]\end{array}$$

예 2)

행렬 A에 의한 이차형태를 나타냅니다.

$$A=\left[\begin{array}{ccc}3& 2& 0\\ 2& 2& 1\\ 0& 1& 0\end{array}\right]x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$

x1, x2, x3=sp.symbols("x1 x2 x3")
A=sp.Matrix([[3,2,0],[2,2,1],[0,1,0]])
x=sp.Matrix(3,1,[x1, x2, x3])
sp.simplify(x.T*A*x)

$[3x_1^2+4x_1{x}_2+2x_2^2+2x_2{x}_3]$

예 3)

다음 이차식을 행렬로 나타내봅니다.

$$Q(x)=5x_1^2+3x_2^2+2x_3^2-x_1{x}_2+8x_2{x}_3$$

A=np.diag([5., 3., 2.])
print(A)

[[5. 0. 0.]
 [0. 3. 0.]
 [0. 0. 2.]]

A[0, 1]=A[1,0]=-0.5
A[1,2]=A[2,1]=4
print(A)

[[ 5.  -0.5  0. ]
 [-0.5  3.   4. ]
 [ 0.   4.   2. ]]

행렬의 이차 형태는 유사 변환(similarity transform)과 동일한 형태를 갖습니다. 즉, 위 행렬 A를 조정함으로서 다양한 유사(similarity)행렬을 생성할 수 있습니다. 대칭행렬 A에 대한 스펙트럼분해의 대각행렬을 적용하면 다른 변수들간의 곱(교차항)을 제거한 원래 이차식을 단순화된 식으로 변환할 수 있습니다. 물론 이 변환된 식은 A의 고유값으로 구성된 행렬이므로 원래식의 특성을 포함합니다.

이차식의 표준(계수)행렬인 A는 대칭 행렬이므로 가역행렬이라는 조건을 충족한다면 고유 행렬은 직교 기저 행렬(orthogonal base matrix)(직교집합(Orthogonal Set)과 선형결합 참조)이 되므로 식 4를 성립합니다.

$$\begin{array}{rl}\text{(식 4)}& A& =PD{P}^{-1}& =PD{P}^T\\ & P:\text{고유행렬}\\ & D:\text{고유값들로 구성되는 대각행렬}\end{array}$$

la.det(A).round(2)

-50.5

d, P=la.eig(A)
D=np.diag(d)
print(D.round(2))

[[ 4.93  0.    0.  ]
 [ 0.    6.62  0.  ]
 [ 0.    0.   -1.55]]

print(P.round(2))

[[-0.97  0.23 -0.05]
 [-0.14 -0.74 -0.66]
 [-0.19 -0.64  0.75]]

print(P.round(2))

True

그러므로 식 5와 같이 기저행렬인 P와의 선형결합은 선형독립이므로 y는 유일한 해벡터가 됩니다. 다시말하면 P에 의해 특정한 벡터 x에 대응하는 특정한 y가 결정할 수 있습니다.

$$\begin{array}{}\text{(식 5)}& x=Py\iff x_p=y\end{array}$$

식 5를 적용하면 식 6을 나타낼 수 있습니다. 이 식의 A는 이차식의 계수들로 구성된 표준행렬이며 D는 A의 고유값들을 대각요소로 하는 대칭행렬입니다. 결과적으로 식 6에 의해 이차식 A는 교차항이 제거된 간단한 형태로 전환될 수 있음을 의미합니다.

$$\begin{array}{rl}{x}^{T}Ax& =(Py{)}^{T}A(Py)\\ & =y^T{P}^{T}APy\\ \text{(6)}& & =y^T(P^{T}AP)y& =y^{T}Dy\\ \because A& =PD{P}^{-1}\to P^{-1}AP=P^{T}AP=D\end{array}$$

예4)

다음의 이차형태 x^TAx를 y^TDy로 변환하기 위해 변수 x = Py를 사용합니다.

$$3x_1^2+3x_2^2+5x_3^2+6x_1{x}_2+2x_1{x}_3+2x_2{x}_3=7y_2^2+4y_3^2$$

위 좌항의 이차 형태의 계수행렬(A)의 고유 행렬 P를 사용하여 우항이 됨을 확인합니다.

다음 행렬 A는 위 식 좌항의 이차형태를 나타냅니다. 다음 결과와 같이 행렬 A의 고유행렬 P는 P^T = P^-1가 성립합니다. 즉, 정규직교기저행렬입니다.

A=np.array([[3,3,1],[3, 3, 1],[1,1,5]])
d, P=la.eig(A)
np.allclose(P.T, la.inv(P))

True

그러므로 행렬 A의 고유값으로 구성된 대각행렬과 새로운 변수 y를 적용하여 간단한 형태로의 변형이 가능합니다.

D=np.diag(d)
print(D)

[[0. 0. 0.]
 [0. 7. 0.]
 [0. 0. 4.]]

y1, y2,y3=symbols("y1 y2 y3")
y=Matrix(3, 1, [y1, y2, y3])
print(y)

Matrix([[y1], [y2], [y3]])

[N(i, 2) for i in y.T*Matrix(D)*y]

[7.0*y2**2 + 4.0*y3**2]

예 5)

다음 식의 이차 행렬을 사용하여 교차곱(cross-product)을 제거한 새로운 이차식을 생성해 봅니다.

$$Q(x)=x_1^2-8x_1{x}_2-5x_2^2$$

A=np.array([[1, -4],[-4, -5]])
print(A)

[[ 1 -4]
 [-4 -5]]

la.det(A)

-21.0

d, P=la.eig(A)
D=np.diag(d)
print(D)

[[ 3.  0.]
 [ 0. -7.]]

np.allclose(P.T, la.inv(P))

True

위 결과는 Q의 이차형식을 나타내는 행렬 A의 고유행렬은 정규직교기저이므로 교차항이 제거된 간단한 형태의 2차항을 생성할 수 있습니다.

y1, y2=symbols("y1 y2")
y=Matrix(2, 1, [y1, y2])
print(y)

Matrix([[y1], [y2]])

[N(i, 2) for i in y.T*Matrix(D)*y]

[3.0*y1**2 - 7.0*y2**2]

식 5.4.7은 위 결과를 나타낸 것입니다.

$$\begin{array}{}\text{(식 7)}& Q(y)=3y_1^2-7y_2^2\end{array}$$