[Linear Algebra] 이차형식의 부호

이차형식의 부호

관련된 내용

• 이차형식(Quadratic forms)

0 벡터가 아닌 x와 대칭행렬 A 사이에 이차 형식 Q(x)가 식 1을 성립하면 행렬 A를 양의 정부호 행렬 (positive definite matrix)이라 합니다.

$$\begin{array}{}\text{(식 1)}& Q(x)=x^{T}Ax>0\end{array}$$

양의 정부호 행렬의 고유값은 양수입니다. 즉, 0이 아닌 벡터 x에 대해 위 식을 정리하면 식 2와 같습니다.

$$\begin{array}{rl}Ax& =\lambda x\\ x^{T}Ax& =x^T\lambda x>0\\ \text{(식 2)}& & =\lambda x^{T}x>0\because x^{T}x& =\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\\ & =x_1^2+x_2^2>0\to \lambda >0\\ & \text{if}{x}_1,x_2\ne =0\end{array}$$

식 2의 성립은 변수벡터의 각 변수가 0이 아닌 조건이 필요합니다. 이 조건에서 이차식은 항상 0보다 크므로 양의 정부호 행렬이 됩니다. 그러나 이 조건이 충족되지 않을 경우 이차식은 0이 될 수 있습니다. 이 경우 양의 반정부호 행렬이라 합니다.

예 1)

다음 행렬은 양의 정부호 행렬입니까?

$$A=\left[\begin{array}{cc}3& 0\\ 0& 7\end{array}\right]$$

행렬 A의 고유값을 결정하면 다음과 같이 모두 양수입니다.

A=np.array([[3,0],[0, 7]])
d, P=la.eig(A)
print(d)

[3. 7.]

행렬 A는 대각행렬로서 식 3을 적용하면 교차항이 없는 단순한 이차식으로 0보다 크거나 같다는 것을 알 수 있습니다.

$$\begin{array}{rl}a{x}_1^2+b{x}_1{x}_2+c{x}_2^2& =\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{cc}a& \frac{b}{2}\\ \frac{b}{2}& c\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\\ \text{(식 3)}& Q(x)& =x^{T}Ax& A:\text{대칭행렬}\\ & x:\text{변수벡터}\end{array}$$

x1, x2=symbols("x1 x2")
x=Matrix(2, 1, [x1, x2])
x.T*Matrix(D)*x

[3.0x12 + 7.0x22]

그러나 위 결과와 같이 이 식이 양의 정부호가 되기 위해서는 변수벡터가 0이 아닌 조건이 필요합니다. 이 예의 경우 조건의 결핍으로 양의 정부호 행렬은 아니고 양의 반정부호 행렬이 됩니다.

그림 1은 위 결과를 시각화한 것으로 x1과 x2가 모두 0일 경우 함수의 최소값을 결정할 수 있습니다. 즉, 양의 반정부호 행렬을 계수행렬로 가지는 경우 최소값을 결정할 수 있습니다.

그림 1. 양의 반정부호 행렬에 의한 2차식.

고유값은 고유벡터의 확장의 정도를 나타내는 스칼라입니다. 그러므로 고유값의 부호에 의해 식 3의 행렬 A는 고유행렬의 방향의 변화를 보입니다(식 2). 이 관계를 표 1에 나타내었습니다.

표 1. 정부호 행렬

단) 변수벡터 ≠ 0

고유값(λ)	종류
λ > 0	positive definite(양의 정부호)
λ ≥ 0	positive semi-definite(양의 반정부호)
λ < 0	negative definite(음의 정부호)
λ ≤ 0	negative-semi definite(음의 반정부호)
λ = +, −	indefinite(부정부호)

예 2)

다음 행렬 A의 부호를 결정합니다(단 변수벡터는 0벡터가 아닙니다.).

$$A=\left[\begin{array}{cc}-3& 0\\ 0& -7\end{array}\right]$$

A=np.array([[-3,0],[0, -7]])
d, P=la.eig(A)
print(d)

[-3. -7.]

print(P.round(3))

[[1. 0.]
 [0. 1.]]

변수벡터 x ≠ 0이고 행렬 A의 고유값은 모두 음이므로 음의 정부호 행렬입니다. 이차식으로 나타내면 다음과 같습니다.

x1, x2=symbols("x1 x2")
x=Matrix(2, 1, [x1, x2])
x.T*Matrix(D)*x

[−3.0x12 − 7.0x22]

이 결과는 모든 실수값에 음의 결과를 보이며 다음 그림 2와 같이 위로 볼록인 형태를 보입니다. 즉, 최대값을 결정할 수 있습니다.

그림 2. 음의 정부호 행렬.

예 3)

이차형식인 $Q(x)=9x_1^2-8x_1{x}_2+8x_1{x}_3+7x_2^2+11x_3^2$과 관계된 대칭 행렬은 양의 정부호입니까?

식 4는 식 Q(x)의 계수행렬 A입니다.

$$\begin{array}{}\text{(식 4)}& A=\left[\begin{array}{ccc}9& -4& 4\\ -4& 7& 0\\ 4& 0& 11\end{array}\right]\end{array}$$

A=np.array([[9,-4,4],[-4, 7, 0],[4, 0, 11]])
d, P=la.eig(A)
print(d)

[ 3. 15.  9.]

행렬 A의 고유값은 모두 양수이므로 이 행렬은 양의 정부호 행렬입니다. 이를 교차항을 제거한 변형된 이차항으로 나타내보면 명확해 집니다. 다음과 같이 고유행렬은 정규직교기저이므로 식 5와 같이 대각행렬로 이차식을 간단한 형태로 전환할 수 있습니다.

$$\begin{array}{rl}{x}^{T}Ax& =(Py{)}^{T}A(Py)\\ & =y^T{P}^{T}APy\\ \text{(5)}& & =y^T(P^{T}AP)y& =y^{T}Dy\\ \because A& =PD{P}^{-1}\to P^{-1}AP=P^{T}AP=D\end{array}$$

np.allclose(P.T, la.inv(P))

True

D=np.diag(d)
print(D)

[[ 3.  0.  0.]
 [ 0. 15.  0.]
 [ 0.  0.  9.]]

x1, x2, x3=symbols("x1 x2 x3")
x=Matrix(3, 1, [x1, x2, x3])
x.T*Matrix(D)*x

[3.0x12 +15.0x22 + 9.0x32]

위 Q의 간단한 형태는 정의역인 0이 아닌 모든 x에 대해 양수임을 나타냅니다.

양의 정부호 행렬의 특성

1. A, B가 양의 정부호 행렬이라면 A + B도 양의 정부호 행렬입니다.
2. Q(x) = x^TAx 가 양의 정부호 라면 그 대칭행렬의 역행렬로 구성된 이차식 R(x) =x^TA⁻¹x 역시 양의 정부호입니다.

양의 정부호 행렬로 구성된 두 이차형식 Q(x) = x^TAx, R(x) = x^TBx를 고려하여 두 식의 합을 계산하면 식 6과 같습니다. 즉, 양의 정부호 행렬들의 합 역시 양의 정부호 행렬이 됩니다.

$$\begin{array}{rl}x& \ne 0\Rightarrow Q(x)>0,R(x)>0\\ Q(x)& =a_1{x}_1^2+a_2{x}_1{x}_2+a_3{x}_2^2=x^{T}Ax\\ \text{(식 6)}& R(X)& =b_1{x}_1^2+b_2{x}_1{x}_2+b_3{x}_2^2=x^{T}BxQ(X)+R(X)& =(a_1+b_1)x_1^2+(a_2+b_2)x_1{x}_2+(a_3+b_3)x_2^2\\ & =x^T(A+B)x\end{array}$$

양의 정부호 행렬인 A는 대칭행렬이므로 그 고유값 λ은 모두 양수입니다. 또한 고유벡터를 v라고 하면 식 7과 같이 행렬 A의 역행렬 역시 양의 정부호 행렬임을 나타낼 수 있습니다.

\begin{align}Av & = λv\ \tag{식 7} ⇒\;& A^{-1}Av = A^{-1}λv \⇒\;& \frac{1}{\lambda} A = A^{-1}v\∴\; & λ \gt 0 → A^{-1} \gt 0

예 4)

다음 두 행렬 A, B가 양의 정부호임을 확인합니다. 그렇다면 AB가 양의 정부호가 됩니까?

$$A=\left[\begin{array}{cc}4& 0\\ 0& 3\end{array}\right]B=\left[\begin{array}{cc}3& -2\\ -2& 7\end{array}\right]$$

A=np.array([[4,0],[0, 3]])
d_A, P_A=la.eig(A)
print(d_A)

[4. 3.]

B=np.array([[3, -2],[-2, 7]])
d_B, P_b=la.eig(B)
print(d_B.round(3))

[2.172 7.828]

위 결과에 의하면 두 행렬 A, B의 고유값은 모두 양수입니다. 그러므로 두 행렬 모두 양의 정부호 행렬입니다. 위 정의에 의해 두 행렬의 합 역시 양의 정부호 행렬이 됩니다.

A_B=A+B
d_A_B, P_A_B=la.eig(A_B)
print(d_A_B)

[ 6. 11.]

이 정의가 곱의 경우에도 적용되는지 확인해봅니다.

AB=A@B
print(AB)

[[12 -8]
 [-6 21]]

위 두 대칭행렬의 곱은 대칭행렬이 아니기 때문에 식 5와 같이 나타낼 수 없습니다. 그러므로 이 식의 부호를 결정할 수 없습니다.

대칭행렬의 곱은 대칭행렬이 아닐 수 있기 때문에 두 대칭행렬의 부호를 결정할 수 없습니다.