Surrogate Loss Functions (2)
1 minute read

ERM with surrogate loss

Surrogate loss

Idea

Examples

A margin based loss function

$y \in \{-1, 1\}$ 을 가정하자.

Margin

Margin은 $y\cdot f(x)$으로 정의된다.

만약 $l(y, f)$가 $yf$의 함수이면, 이 손실함수는 margin based loss function이다.

위에서 살펴봤던 네 가지 손실함수(exponential, square, logistic, hinge loss)는 모두 margin based loss function이다.

Square loss는 언뜻 보기에는 margin based loss function이 아닌 것 같지만, $y \in \{-1, 1\}$이기 때문에 식을 다음과 같이 전개할 수 있고, 마지막 줄에서 $yf$의 함수가 되는 것을 확인할 수 있다.

다양한 손실함수 위의 그림을 통해 $y = 1$일 때 여러 손실함수들이 어떤 형태로 나타나는지 비교해볼수 있다.

여기서 Squared loss의 이상한 점을 발견할 수 있는데, 바로 $\{yf: yf > 1\}$ 영역에서 loss 값이 증가한다는 것이다. Squared loss의 경우 다른 손실함수들과 달리, 이 영역에서는 예측이 맞았음에도 불구하고 점점 loss가 증가한다. 이러한 이유에서 Squared loss분류 문제에서 손실함수로 사용할 수 없다.

Recent Posts

Pretraining-Based Natural Language Generation for Text Summarization
Style Transfer from Non-Parallel Text by Cross-Alignment
End-To-End Memory Networks
A Structured Self-Attentive Sentence Embedding
Learning Loss for Active Learning