CS231n : Lecture 3

15 Mar 2018 1 minute read

The loss function quantifies our unhappiness with the scores across the training data.
엔트로피가 우리의 놀람의 정도를 quantify 한다는 비유가 떠올랐다. 어떤 개념을 설득력 있는 수식으로 정의하는 능력을 키우고 싶다.
SVM Loss의 Margin의 크기는, scalable 하기 때문에 어떤 상수이든 크게 상관이 없다. 그래서 그냥 1로 두는 것이다.
At initialization W is small so all s approximates to 0. What is the loss?
Loss function을 하나씩 배울 때마다 이 질문이 계속 나왔는데, 이에 대한 답을 알아두는 건 내 코드에 어떤 문제가 있는지 확인을 할때에 유용하다.
Hinge Loss? Squared Hinge Loss?
우리가 에러에 어떻게 페널티를 줄 것인지를 결정할 수 있다. 그냥 틀리기만 하면 다 같은 걸로 볼 것인지, 아니면 틀린 정도에 따라 더 페널티를 많이 줄 것인지를 결정할 수 있다.

Softmax vs SVM

Softmax는 이미 correct class의 점수가 가장 높아도, 계속해서 Loss를 0으로 만들고 싶어한다.
SVM은 margin크기 이상으로 correct class의 점수가 높으면, 그 이상은 신경쓰지 않는다.
예를 들어 어떤 시험의 합격 점수가 70점이라고 했을 때 SVM은 70점을 한번 넘기고 나면 더 이상 공부를 하지 않고, Softmax는 계속해서 만점에 가까운 점수를 받으려고 한다.
하지만 실제 적용에서의 퍼포먼스를 비교해보면 둘 간의 차이가 크지는 않다고 한다.