SVM(支持向量机)和softmax的区别在于损失函数的不同,用公式可以描述为:
其中 syi 表示真实类别的得分,sj 表示其他类别的得分。Δ 表示为边界值,Li 表示某输入图像的损失值
根据损失函数做如下讨论:
1.如果在累加时去掉j≠yij≠yi 的条件,是否可行?
答案显而易见,不可行。这样损失值永远大于0,最小也为ΔΔ
2.如果将求和改为取平均,是否有影响?
答案没有,虽然损失函数的大小改变,但是是常量倍数的变化,本质上没有区别
3.如果将类间距求平方是否不同?
答案是肯定的,而这里是否用平方也是一个超参
4.当ww 为0时,损失函数为多少?
通常情况下,在代码开始一般采用该方式计算损失函数的数值,从而验证损失函数是否书写正确
https://blog.csdn.net/lanmengyiyu/article/details/78822143