Softmax损失函数

上一篇博客讨论了SVM的损失函数,本篇博客主要来讨论softmax的损失函数以及两者之间的差别。

首先,softmax损失函数用数学公式可以表示为如下:
Li=log(efyijefj)
其中, fyi 表示经过线性矩阵后真实分类的值, jefj 表示某个样本所有分类值的和。

接下来,讨论3个问题:

1.当最初w趋近于0的时候,Loss为多少?
为类别数的倒数再取对数。可以以此来校验loss function是否书写正确

2.Loss的取值范围?
同SVM的loss一样, [0,+]

3.与SVM的loss function 有什么不同?
SVM的loss function 计算中,当损失类间距大于 Δ 时,无论差别多大都没有影响了,也就是说,只有在分类边界附近的数据扰动才会有影响,才会对权重w有作用。
softmax中,无论类别间距差别多大,扰动都会对损失值有影响,只不过是影响大或者小的区别。

你可能感兴趣的:(深度学习相关(cs231n),softmax,损失函数,svm)