[ML]비용함수: cross_entropy loss

비용함수: cross_entropy loss

한개의 특성(feture)과 3개의 클래스를 가진 라벨에 매핑시키는 모델을 생성합니다. 즉, 데이터는 다음의 구조를 가집니다.

x	y
1.5	0
$⋮$	$⋮$

클래스 0, 1, 2를 각각 A, B, C로 나타내면 각각에 부여되는 가중치를 $w_A,w_B,w_C$로 표시하여 식 1과 같이 x에 대한 예측치를 계산할 수 있습니다.

$$\begin{array}{rl}\text{(식 1)}& w_A\cdot x& ={\hat{y}}_A{w}_B\cdot x& ={\hat{y}}_B\\ w_c\cdot x& ={\hat{y}}_C\end{array}$$

간단한 예로 다음의 경우에 대해서만 예측치를 계산해 봅니다.

x=1.5, y=0

import numpy as np
np.random.seed(3)
W=np.random.rand(3)
W

array([0.5507979 , 0.70814782, 0.29090474])

x=1.5
y=0
haty=W*x
haty

array([0.82619685, 1.06222173, 0.43635711])

위 haty는 x가 label의 각 클래스 A, B, C로 대응하기 위한 선형변환의 결과입니다. 위 값들이 [0, 1] 구간내에 포함하도록 정규화 할 수 있습니다. 이것은 특성이 A, B, C에 매핑될 확률로 간주할 수 있습니다.

$$\begin{array}{rl}S(\widehat{y_i})& =P_i\\ \text{(식 2)}& & =\frac{e^{\widehat{y_i}}}{\sum _{j=1}^k{e}^{\widehat{y_i}}}k:& \text{클래스 갯수}\end{array}$$

위 계산결과의 총합은 1이 됩니다.

haty2=np.exp(haty)
s1=haty2/np.sum(haty2)
s1

array([0.33974648, 0.43018897, 0.23006455])

s1.sum().round(3)

1.0

위 결과 중 독립변수인 1.5는 2 번째 클래스에 포함될 확률이 가장 큽니다. 그러므로 위 결과의 예측은 1이며 실제값은 0입니다. 위 결과와 실제값과의 차이를 최소로 하는 모델을 구현해야 합니다. 차이가 최소임을 나타낼 지표 즉, 비용함수(cost function)가 필요합니다. 선형회귀와 같이 MSE를 적용하면 4((2-0)²)로 계산됩니다.

위 과정을 다른 가중치에 의해 다시 실시해 봅니다.

np.random.seed(10)
W2=np.random.rand(3)
haty12=W2*x
haty13=np.exp(haty12)
s2=haty13/np.sum(haty13)
s2

array([0.46777172, 0.15173375, 0.38049453])

위 결과로 클래스 1에 포함됩니다. 이 경우 비용은 1((1-0)²)이 됩니다.

$$(1-0{)}^2=1$$

위의 두 비용 4와 1은 클래스 선택의 오류에 기인합니다. 이 결과는 클래스 2와 클래스 1의 선택에 대한 그 차이를 나타냅니다. 즉, 실제값 0은 2보다 1에 더 가깝다라는 의미를 나타냅니다. 그러나 클래스 0, 1, 2는 분류를 위한 것으로 순위를 나타내는 것이 아닙니다. 그러므로 비용 4와 1의 크기는 의미를 가질수 없습니다. 이러한 문제를 해결하기 위해 라벨(label)을 즉, 클래스를 원-핫 인코딩(one-hot encoding)으로 전환합니다. 즉, 각 데이터 점이 해당하는 클래스에 1, 다른 클래스에 0의 값을 부여합니다. 즉 클래스 3개는 다음과 같이 나타낼 수 있습니다.

샘플(값)\클래스	0	1	2
a(y=1)	0	1	0
b(y=0)	1	0	0
c(y=2)	0	0	1

위 표의 샘플 b의 값은 0이므로 원-핫 인코딩의 결과는 [1, 0, 0] 으로 전환합니다. 이 값과 예측결과인 확률의 곱의 크기로 비용을 계산합니다. 이 계산의 결과는 [0, 1]의 범위내에 존재해야 하므로 -1을 고려합니다. 이 범위를 확장하고 계산상의 편의를 위해 식 3과 같이 로그확률을 적용합니다.

$$\begin{array}{rl}\text{(식 3)}& \text{cost}& =-y\cdot \log (P)& =-(1\cdot \log (P_1)+0\cdot \log (P_2)+0\cdot \log (P_1))\\ & =\sum _{i=1}^3-y_i\cdot \log (P_i)\\ y:& \text{one-hot encoding 객체}\end{array}$$

결과적으로 식 3은 관측치에 해당하는 클래스에 예측되는 확률만을 고려하는 것입니다. 이 비용함수를 크로스 엔트로피(cross-entropy)함수라고 합니다.

위 코드에서 사용한 x=1.5, y=0에 대한 결과인 s1에 식 3을 적용하여 비용을 계산하면 다음과 같습니다.

x=1.5
b=0
b_oh=np.array([1,0,0])
cost1=-np.sum(b_oh@np.log(s1))
cost1

1.079555590304484

식 3을 근거로 Cross-entropy 비용함수의 적합성을 알아봅니다. 예를들어 L(=y)이 다음일 때 예측치 $\widehat{y_1}$과 $\widehat{y_2}$에 대한 Cross-entropy 함수의 결과는 다음과 같습니다.

$$\begin{array}{rl}y=\left[\begin{array}{c}0\\ 1\end{array}\right]& \widehat{y_1}=\left[\begin{array}{c}0\\ 1\end{array}\right]\widehat{y_2}=\left[\begin{array}{c}1\\ 0\end{array}\right]\\ y\times (-\log (\widehat{y_1}))& =\left[\begin{array}{c}0\\ 1\end{array}\right]\times -\log \left(\left[\begin{array}{c}0\\ 1\end{array}\right]\right)\\ & =\left[\begin{array}{c}0\\ 1\end{array}\right]\times \left[\begin{array}{c}\mathrm{\infty }\\ 0\end{array}\right]\\ & =\left[\begin{array}{c}0\\ 0\end{array}\right]\\ & =0+0\\ & =0\\ \text{(식 4)}& \because -log(0)\approx \mathrm{\infty }& -\log (1)\approx 0y\times (-\log (\widehat{y_2}))& =\left[\begin{array}{c}0\\ 1\end{array}\right]\times -log\left(\left[\begin{array}{c}1\\ 0\end{array}\right]\right)\\ & =\left[\begin{array}{c}0\\ 1\end{array}\right]\times \left[\begin{array}{c}0\\ \mathrm{\infty }\end{array}\right]\\ & =\left[\begin{array}{c}0\\ \mathrm{\infty }\end{array}\right]\\ & =0+\mathrm{\infty }\\ & =\mathrm{\infty }\\ \because -\log (0)\approx \mathrm{\infty }& -\log (1)\approx 0\end{array}$$

그러므로 실측치와 일치하지 않은 경우 cross-entropy 함수값은 매우 증가하므로 이 함수를 포함하는 비용함수 역시 매우 증가합니다.