[Linear Algebra] 노름(Norm)

노름(Norm)

• 벡터 노름 (Vector Norm)
• 행렬 노름(Matrix Norm)

벡터 노름 (Vector Norm)

식 1의 벡터 x는 원점에서 n개의 좌표로 지정된 지점($x_1,x_2,\cdots ,x_n$)까지 같이 벡터들 사이에서 계산된 거리(D)를 계산한 것으로 norm(노름) 또는 유클리드 거리(Euclidean distance)라 하고 $\Vert x\Vert$로 나타냅니다.

$$\begin{array}{rl}x& =\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ v_n\end{array}\right]\\ \text{D}& =\sqrt{(x_1-0{)}^2+(x_2-0{)}^2+\cdots +(x_n-0{)}^2}\\ & =\sqrt{x^{T}x}=\Vert x\Vert \\ \Leftarrow x^{T}x& =\left[\begin{array}{cccc}{x}_1& x_2& ⋮& v_n\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ v_n\end{array}\right]\\ & =x_1^2+x_2^2+\cdots +x_n^2\end{array}$$

(식 1)

식 1의 x^Tx는 벡터 x의 전치벡터와의 곱으로 벡터의 내적(inner product)입니다.

유클리드 놈은 때때로 $\Vert x{\Vert }_2$와 같이 아래첨자 2로 작성됩니다. 아래 첨자 2는 x의 요소들의 제곱의 합임을 의미합니다. 벡터의 유클리드 놈은 벡터의 크기(magnitude)를 의미하며 numpy.linalg 모듈의 norm() 함수로 계산할 수 있습니다.

import numpy as np
import numpy.linalg as la

x=np.array([2,-1,2])
x_norm=np.sqrt(sum(x**2));x_norm

3.0

la.norm(x)

3.0

유클리드 놈은 크기입니다. 이것은 스칼라의 크기 역시 식 1의 식으로 계산될 수 있으며 결과는 스칼라의 절대값과 같습니다. 벡터와 같은 배열의 노름을 표시하기 위해 이중 막대를 사용하는 것은 스칼라의 크기와 구분하기 위한 것입니다.

크기를 계산하기 위해 기준이 존재해야 하며 식 1은 제로벡터(zero vector)를 기준으로 한 것으로 시점과 종점이 명시된 경우 식 2와 같이 계산됩니다.

$$\begin{array}{rl}a& =\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\end{array}\right],b=\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]\\ \Vert \overrightarrow{ba}\Vert & =\sqrt{(a_1-b-1{)}^2+(a_2-b_2{)}^2+(a_3-b_3{)}^2}\end{array}$$

(식 2)

다음은 벡터 a의 놈을 계산한 것입니다. 이 벡터의 시점은 명시되지 않은 경우로 0 벡터([0, 0, 0])가 됩니다.

a=np.array([5, 3, 7])
print(a)

[5 3 7]

la.norm(a).round(2)

9.11

위 코드에서 사용한 .round() 메소드는 지정한 자릿수까지 반올림을 실행합니다.

np.sqrt((5-0)**2+(3-0)**2+(7-0)**2).round(2)

9.11

[노름(Norm)의 특성]

x, y는 벡터, β는 스칼라입니다.

1. 스칼라 곱에의한 벡터의 놈: ‖βx‖ = |β|‖x‖
2. 두 벡터의 합에 대한 유클리드 놈(Euclidean norm)
   • ‖x + y‖ ≤ ‖x‖+‖y‖(삼각부등식)
3. ‖x‖ ≥ 0
4. x = 0인 경우에만 ‖x‖ = 0

위 특성 1, 3, 그리고 4번은 쉽게 이해 될 수 있는 정의입니다. 특히 3과 4번의 특성은 양의 명확성(positive definitness)이라고 합니다. 2번째 특성의 경우는 삼각부등식이라고 합니다.

Norm of sum

두 벡터 x와 y 합의 노름은 식 3와 같습니다.

$$\Vert x+y\Vert ={\sqrt{\Vert x{\Vert }^2+2x^{T}y+\Vert y\Vert }}^2$$

(식 3)

식 3은 식 4와 같이 유도할 수 있습니다.

‖x + y‖2	= (x + y)T(x + y)	(식 4)
	= xTx + xTy + yTx +yTy
	= ‖x‖2 + 2xTy + ‖y‖2

벡터는 1차원 객체이므로 두 벡터의 내적은 식 5와 같이 동일한 인덱스의 요소들의 곱의 합으로 x^Ty = y^Tx가 성립합니다.

$$\begin{array}{rl}x& =\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right],y=\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]\\ x^{T}y& =\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]=x_1{y}_1+x_2{y}_2\\ yTx& =\left[\begin{array}{cc}{y}_1& y_2\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=x_1{y}_1+x_2{y}_2\end{array}$$

(식 5)

Distance

두 벡터 a와 b의 유클리드 거리는 식 6와 같이 두 벡터 차이에 대한 유클리드 놈으로 정의할 수 있습니다.

dist(a, b) = ‖a - b‖

(식 6)

다음 코드들은 벡터 u, v, 그리고 w의 사이의 거리를 numpy.linalg.norm() 함수를 사용하여 계산한 것입니다.

u=np.array([1.8, 2.0, -3.7, 4.7]).reshape(-1,1)
v=np.array([0.6, 2.1, 1.9, -1.4]).reshape(-1,1)
w=np.array([2.0, 1.9, -4.0, 4.6]).reshape(-1,1)
u_v=la.norm(u-v)
round(u_v, 3)

8.368

u_w=la.norm(u-w)
round(u_w, 3)

0.387

v_w=la.norm(v-w)
round(v_w, 3)

8.533

행렬노름(Matrix Norm)

행렬은 1개 이상의 행과 열로 구성된 배열이므로 두 벡터간의 거리를 사용하여 계산되는 벡터노름을 직접적으로 적용할 수 없습니다. 대신에 Ax=b가 성립되는 벡터 x와 그 행렬과의 행렬곱에 의한 결과로 행렬노름을 식 7과 같이 정의합니다.

$$\Vert A\Vert =\underset{x\ne 0}{\text{max}}\frac{\Vert Ax\Vert }{\Vert x\Vert }\Rightarrow \Vert Ax\Vert \le \Vert A\Vert \Vert x\Vert$$

(식 7)

식 Matrix Norm은 1차 노름이며 이를 일반화하기 위해 식 8과 같이 p-norm으로 나타냅니다.

$$\Vert A{\Vert }_p=\underset{x\ne 0}{\text{max}}\frac{\Vert Ax{\Vert }_p}{\Vert x{\Vert }_p}\Rightarrow \Vert Ax{\Vert }_p\le \Vert A{\Vert }_p\Vert x{\Vert }_p$$

(식 7)

행렬 노름 역시 la.norm(객체, ord, axis=None)로 계산할 수 있습니다. 인수 ord는 위 식 Matrix pNorm의 p를 나타내는 것으로서 다양한 옵션이 존재합니다.

a = np.array([[1, 0, -1], [0, 1, 0], [1, 0, 1]]);a

array([[ 1,  0, -1],
       [ 0,  1,  0],
       [ 1,  0,  1]])

la.norm(a, 'fro')

2.23606797749979

la.norm(a, axis=0)#축을 지정하면 각 벡터 노름이 계산

array([1.41421356, 1.        , 1.41421356])