[ML] 비용함수: hinge

손실함수(Loss function): hinge

통계적 분류 훈련에서 자주 사용되는 순실함수로서 특히 서포트 백터머신(SVM)에서 사용됩니다.학습데이터의 각 클래스의 범위를 구분하면서 데이터와의 가장 먼 결정경계를 찾는 역할을 수행합니다. 다음과 같이 정의 됩니다.

$$\tag{식 1}\text{loss}=\text{max}\{0, 1-(\hat{y}\times y)\}$$

다음 그림은 svm 모델에 의한 결정경계를 나타낸 것입니다.

위 그림의 svm 모델을 근거로 관측값 1에 대해 예측값의 영역은 다음과 같습니다.

\begin{align}\tag{식 2}w^T+b \gt 1 \quad & \text{plus-plane 보다 위쪽}\\w^T+b \lt 1 \quad & \text{minus-plane 보다 아래쪽}\end{align}

그러므로 식 1에서 loss=0이 되기 위해서는 식 3과 같이 되어야 합니다.

$$\tag{식 3}\hat{y}\times y=y(w^T+b) \ge 1$$

$\hat{y}\times y \le 1$은 위 그림의 plus-plane과 minus-plane 사이의 모든 공간이 margin내에 존재한다는 것을 의미합니다.

예측값이 magin내에 포함되면 손실(loss)이 0이되며 그 외부분에 존재하면 손실이 발생하도록 작성한 함수가 hinge 손실함수 입니다.