• The loss function quantifies our unhappiness with the scores across the training data.
  엔트로피가 우리의 놀람의 정도를 quantify 한다는 비유가 떠올랐다. 어떤 개념을 설득력 있는 수식으로 정의하는 능력을 키우고 싶다.

• SVM Loss의 Margin의 크기는, scalable 하기 때문에 어떤 상수이든 크게 상관이 없다. 그래서 그냥 1로 두는 것이다.

• At initialization W is small so all s approximates to 0. What is the loss?
  Loss function을 하나씩 배울 때마다 이 질문이 계속 나왔는데, 이에 대한 답을 알아두는 건 내 코드에 어떤 문제가 있는지 확인을 할때에 유용하다.

• Hinge Loss? Squared Hinge Loss?
  우리가 에러에 어떻게 페널티를 줄 것인지를 결정할 수 있다. 그냥 틀리기만 하면 다 같은 걸로 볼 것인지, 아니면 틀린 정도에 따라 더 페널티를 많이 줄 것인지를 결정할 수 있다.

Softmax vs SVM

• Softmax는 이미 correct class의 점수가 가장 높아도, 계속해서 Loss를 0으로 만들고 싶어한다.
• SVM은 margin크기 이상으로 correct class의 점수가 높으면, 그 이상은 신경쓰지 않는다.
• 예를 들어 어떤 시험의 합격 점수가 70점이라고 했을 때 SVM은 70점을 한번 넘기고 나면 더 이상 공부를 하지 않고, Softmax는 계속해서 만점에 가까운 점수를 받으려고 한다.
• 하지만 실제 적용에서의 퍼포먼스를 비교해보면 둘 간의 차이가 크지는 않다고 한다.