SVM损失函数

SVM（支持向量机）和softmax的区别在于损失函数的不同，用公式可以描述为：

Li=∑j≠yimax(0,sj−syi+Δ) L i = ∑ j ≠ y i m a x ( 0 , s j − s y i + Δ )

其中 syi s y i 表示真实类别的得分， sj s j 表示其他类别的得分。 Δ Δ 表示为边界值， Li L i 表示某输入图像的损失值

根据损失函数做如下讨论：

1.如果在累加时去掉 j≠yi j ≠ y i 的条件，是否可行？
答案显而易见，不可行。这样损失值永远大于0，最小也为 Δ Δ

2.如果将求和改为取平均，是否有影响？
答案没有，虽然损失函数的大小改变，但是是常量倍数的变化，本质上没有区别

3.如果将类间距求平方是否不同？
答案是肯定的，而这里是否用平方也是一个超参

4.当 w w 为0时，损失函数为多少？
通常情况下，在代码开始一般采用该方式计算损失函数的数值，从而验证损失函数是否书写正确