[cs231n] Softmax Classifier/ SVM

scores由线性函数得到:

损失函数 Loss function:

Softmax —— 交叉熵损失 Cross Entropy Loss
每个样本的损失：
SVM —— Hinge Loss

正则项：

总损失= 数据损失+正则项：

损失函数求梯度 gradient

Softmax

• 对weights的梯度：矩阵大小和weights矩阵大小相同
  

• 对bias的梯度： 和bias矩阵大小相同，元素都为1。

SVM

• 对weights的梯度：矩阵大小和weights矩阵大小相同