[ML]비용함수: cross_entropy loss

비용함수: cross_entropy loss

한개의 특성(feture)과 3개의 클래스를 가진 라벨에 매핑시키는 모델을 생성합니다. 즉, 데이터는 다음의 구조를 가집니다.

x	y
1.5	0
$\vdots$	$\vdots$

클래스 0, 1, 2를 각각 A, B, C로 나타내면 각각에 부여되는 가중치를 $w_A, w_B, w_C$로 표시하여 식 1과 같이 x에 대한 예측치를 계산할 수 있습니다.

\begin{align}\tag{식 1}w_A \cdot x &= \hat{y}_A\\w_B \cdot x &= \hat{y}_B\\w_c \cdot x &= \hat{y}_C\end{align}

간단한 예로 다음의 경우에 대해서만 예측치를 계산해 봅니다.

x=1.5, y=0

import numpy as np
np.random.seed(3)
W=np.random.rand(3)
W

array([0.5507979 , 0.70814782, 0.29090474])

x=1.5
y=0
haty=W*x
haty

array([0.82619685, 1.06222173, 0.43635711])

위 haty는 x가 label의 각 클래스 A, B, C로 대응하기 위한 선형변환의 결과입니다. 위 값들이 [0, 1] 구간내에 포함하도록 정규화 할 수 있습니다. 이것은 특성이 A, B, C에 매핑될 확률로 간주할 수 있습니다.

\begin{align}S(\hat{y_i})&=P_i\\\tag{식 2}&=\frac{e^{\hat{y_i}}}{\sum^k_{j=1}e^{\hat{y_i}}}\\ k:& \text{클래스 갯수} \end{align}

위 계산결과의 총합은 1이 됩니다.

haty2=np.exp(haty)
s1=haty2/np.sum(haty2)
s1

array([0.33974648, 0.43018897, 0.23006455])

s1.sum().round(3)

1.0

위 결과 중 독립변수인 1.5는 2 번째 클래스에 포함될 확률이 가장 큽니다. 그러므로 위 결과의 예측은 1이며 실제값은 0입니다. 위 결과와 실제값과의 차이를 최소로 하는 모델을 구현해야 합니다. 차이가 최소임을 나타낼 지표 즉, 비용함수(cost function)가 필요합니다. 선형회귀와 같이 MSE를 적용하면 4((2-0)²)로 계산됩니다.

위 과정을 다른 가중치에 의해 다시 실시해 봅니다.

np.random.seed(10)
W2=np.random.rand(3)
haty12=W2*x
haty13=np.exp(haty12)
s2=haty13/np.sum(haty13)
s2

array([0.46777172, 0.15173375, 0.38049453])

위 결과로 클래스 1에 포함됩니다. 이 경우 비용은 1((1-0)²)이 됩니다.

$$(1 − 0)^2 = 1$$

위의 두 비용 4와 1은 클래스 선택의 오류에 기인합니다. 이 결과는 클래스 2와 클래스 1의 선택에 대한 그 차이를 나타냅니다. 즉, 실제값 0은 2보다 1에 더 가깝다라는 의미를 나타냅니다. 그러나 클래스 0, 1, 2는 분류를 위한 것으로 순위를 나타내는 것이 아닙니다. 그러므로 비용 4와 1의 크기는 의미를 가질수 없습니다. 이러한 문제를 해결하기 위해 라벨(label)을 즉, 클래스를 원-핫 인코딩(one-hot encoding)으로 전환합니다. 즉, 각 데이터 점이 해당하는 클래스에 1, 다른 클래스에 0의 값을 부여합니다. 즉 클래스 3개는 다음과 같이 나타낼 수 있습니다.

샘플(값)\클래스	0	1	2
a(y=1)	0	1	0
b(y=0)	1	0	0
c(y=2)	0	0	1

위 표의 샘플 b의 값은 0이므로 원-핫 인코딩의 결과는 [1, 0, 0] 으로 전환합니다. 이 값과 예측결과인 확률의 곱의 크기로 비용을 계산합니다. 이 계산의 결과는 [0, 1]의 범위내에 존재해야 하므로 -1을 고려합니다. 이 범위를 확장하고 계산상의 편의를 위해 식 3과 같이 로그확률을 적용합니다.

\begin{align}\tag{식 3}\text{cost}&=-y \cdot \log(P)\\&=-\left(1 \cdot \log(P_1)+ 0 \cdot \log(P_2)+ 0 \cdot \log(P_1)\right)\\ &=\sum^3_{i=1}-y_i \cdot \log(P_i)\\y:&\; \text{one-hot encoding 객체}\end{align}

결과적으로 식 3은 관측치에 해당하는 클래스에 예측되는 확률만을 고려하는 것입니다. 이 비용함수를 크로스 엔트로피(cross-entropy)함수라고 합니다.

위 코드에서 사용한 x=1.5, y=0에 대한 결과인 s1에 식 3을 적용하여 비용을 계산하면 다음과 같습니다.

x=1.5
b=0
b_oh=np.array([1,0,0])
cost1=-np.sum(b_oh@np.log(s1))
cost1

1.079555590304484

식 3을 근거로 Cross-entropy 비용함수의 적합성을 알아봅니다. 예를들어 L(=y)이 다음일 때 예측치 $\hat{y_1}$과 $\hat{y_2}$에 대한 Cross-entropy 함수의 결과는 다음과 같습니다.

\begin{align}y=\begin{bmatrix}0\\1\end{bmatrix}&\quad \hat{y_1}=\begin{bmatrix}0\\1\end{bmatrix} \quad \hat{y_2}=\begin{bmatrix}1\\0\end{bmatrix} \\ y\times (-\log(\hat { y_{ 1 } } ))&= \begin{bmatrix} 0 \\ 1 \end{bmatrix} \times -\log\left( \begin{bmatrix} 0 \\ 1 \end{bmatrix} \right) \\&= \begin{bmatrix} 0 \\ 1 \end{bmatrix} \times \begin{bmatrix} \infty \\ 0 \end{bmatrix} \\&= \begin{bmatrix} 0 \\ 0 \end{bmatrix} \\&=0+0\\&=0 \\ \tag{식 4}\because \; -log(0) \approx \infty &\qquad -\log(1) \approx 0 \\ y\times (-\log(\hat { y_{ 2} } ))&= \begin{bmatrix} 0 \\ 1 \end{bmatrix} \times -log\left( \begin{bmatrix} 1 \\ 0 \end{bmatrix} \right) \\ &= \begin{bmatrix} 0 \\ 1 \end{bmatrix} \times \begin{bmatrix} 0 \\ \infty \end{bmatrix} \\ &= \begin{bmatrix} 0 \\ \infty \end{bmatrix} \\ &=0+\infty \\&=\infty \\ \because \; -\log(0)\approx \infty & \qquad -\log(1)\approx 0\end{align}

그러므로 실측치와 일치하지 않은 경우 cross-entropy 함수값은 매우 증가하므로 이 함수를 포함하는 비용함수 역시 매우 증가합니다.