[Linear Algebra] 코시-슈바르츠와 삼각부등식

코시-슈바르츠와 삼각부등식

• 코시-슈바르츠 부등식(Cauchy-Schwarz Inequality)
• 삼각 부등식(triangle inequality)

코시-슈바르츠 부등식(Cauchy-Schwarz Inequality)

임의의 두 벡터 a와 b의 곱의 크기는 각 벡터의 노름(norm)의 곱보다 크지 않습니다. 이 관계를 코시-슈바르츠 부등식(Cauchy-Schwarz Inequality)이라 하며 식 1과 같이 나타낼 수 있습니다.

$$\vert {a^Tb}\vert \le \Vert{a}\Vert \Vert{b}\Vert$$

(식 1)

식 1을 벡터의 요소별로 풀어 쓰면 식 2와 같습니다.

$$\vert {a_1b_1+\cdots + a_nb_n}\vert \le \sqrt{a_1^2+\cdots+a_n^2}\sqrt{b_1^2+\cdots+b_n^2}$$

(식 2)

식 2에서 두 벡터가 a, b 모두 0일 경우에만 등호가 성립합니다. 그러므로 두 벡터 모두 0이 아닌 조건에서 코시-슈바르츠 부등식을 증명할 수 있습니다(식 3).

\begin{align} \text{가정}:&\;a\ne 0, \; b\ne 0, \;\alpha=\Vert {a} \Vert,\; \beta=\Vert{b}\Vert \\ 0&\le \Vert {\beta a - \alpha a} \Vert^2\\ & = \Vert {\beta a} \Vert^2 - 2(\beta a)^T \alpha b +\Vert {\alpha b} \Vert^2\\ & = \beta^2\Vert { a} \Vert^2 - 2\alpha \beta (a^Tb) +\alpha^2\Vert { b} \Vert^2\\ & = \Vert { b} \Vert^2\Vert { a} \Vert^2 - 2\Vert {a} \Vert \Vert { b} \Vert (a^Tb) +\Vert { a} \Vert^2\Vert { b} \Vert^2\\ & = 2\Vert { b} \Vert^2\Vert { a} \Vert^2 -2\Vert {a} \Vert \Vert { b} \Vert (a^Tb) \\ \Leftrightarrow &\; \Vert {a} \Vert \Vert { b} \Vert (a^Tb) \le \Vert { b} \Vert^2\Vert { a} \Vert^2\\ & \therefore \;\vert a^Tb \vert \le \Vert { b} \Vert \Vert { a} \Vert \end{align}

(식 3)

a ≠ 0, b ≠ 0의 조건하에서 Cauchy-Schwarz 부등식에서 좌항과 우항이 같은 경우는 ‖βa − αb‖ = 0, 즉 βa = αb인 경우에만 발생합니다. 이는 벡터 a ≠ b이라면 각 벡터가 서로의 스칼라 배수임을 의미합니다. 따라서 Cauchy-Schwarz 부등식은 벡터 중 하나가 다른 벡터의 배수일 때 동등하게 유지됩니다. 다른 모든 경우에는 엄격한 부등식으로 유지됩니다.

iner
u=np.array([-1,2])
v=np.array([4, -2])
iner=u@v
print(abs(iner))

8

norm_u=la.norm(u)
norm_v=la.norm(v)
(norm_u*norm_v).round(3)

10.0

삼각 부등식(triangle inequality)

임의의 두 벡터에 대해 식 4가 성립됩니다. 즉, 두 벡터 합의 노름은 각 벡터 노름의 합보다 작거나 같습니다. 이 관계를 삼각부등식(triangle inequality)이라고 합니다.

\begin{align} \Vert {a+b} \Vert^2&\le \Vert{a}\Vert^2+2\Vert{a}\Vert \Vert{b}\Vert+\Vert{b}\Vert^2\\ & \le \left( \Vert{a}\Vert+\Vert{b}\Vert\right)^2\\ \therefore\;& \Vert {a+b} \Vert \le \Vert {a} \Vert + \Vert {b} \Vert\end{align}

(식 4)

la.norm(u+v)

3.0

(norm_u+norm_v).round(2)

6.71