[ML] 비용함수: hinge

손실함수(Loss function): hinge

통계적 분류 훈련에서 자주 사용되는 순실함수로서 특히 서포트 백터머신(SVM)에서 사용됩니다.학습데이터의 각 클래스의 범위를 구분하면서 데이터와의 가장 먼 결정경계를 찾는 역할을 수행합니다. 다음과 같이 정의 됩니다.

$$\begin{array}{}\text{(식 1)}& \text{loss}=\text{max}\{0,1-(\hat{y}\times y)\}\end{array}$$

다음 그림은 svm 모델에 의한 결정경계를 나타낸 것입니다.

위 그림의 svm 모델을 근거로 관측값 1에 대해 예측값의 영역은 다음과 같습니다.

$$\begin{array}{rl}\text{(식 2)}& w^T+b>1& \text{plus-plane 보다 위쪽}{w}^T+b<1& \text{minus-plane 보다 아래쪽}\end{array}$$

그러므로 식 1에서 loss=0이 되기 위해서는 식 3과 같이 되어야 합니다.

$$\begin{array}{}\text{(식 3)}& \hat{y}\times y=y(w^T+b)\ge 1\end{array}$$

$\hat{y}\times y\le 1$은 위 그림의 plus-plane과 minus-plane 사이의 모든 공간이 margin내에 존재한다는 것을 의미합니다.

예측값이 magin내에 포함되면 손실(loss)이 0이되며 그 외부분에 존재하면 손실이 발생하도록 작성한 함수가 hinge 손실함수 입니다.