svm损失函数

SVM(支持向量机)和softmax的区别在于损失函数的不同,用公式可以描述为:


其中 syi 表示真实类别的得分,sj  表示其他类别的得分。Δ 表示为边界值,Li 表示某输入图像的损失值

根据损失函数做如下讨论:

1.如果在累加时去掉j≠yij≠yi 的条件,是否可行? 

答案显而易见,不可行。这样损失值永远大于0,最小也为ΔΔ

2.如果将求和改为取平均,是否有影响? 

答案没有,虽然损失函数的大小改变,但是是常量倍数的变化,本质上没有区别

3.如果将类间距求平方是否不同? 

答案是肯定的,而这里是否用平方也是一个超参

4.当ww 为0时,损失函数为多少? 

通常情况下,在代码开始一般采用该方式计算损失函数的数值,从而验证损失函数是否书写正确
https://blog.csdn.net/lanmengyiyu/article/details/78822143

你可能感兴趣的:(深度学习相关文献和理论)