深度学习 比较三种损失函数的使用（交叉熵、平方、绝对值）

注意：本文中的$y^{\ast }$代表的是标签值仅有$0、1$两个值，$y$是获得的语义值（$softmax$后的逻辑值）

交叉熵：

$Loss1=-y^{\ast }\ast lo{g}^y$

• 当$y^{\ast }$为0时：Loss的值为0
• 当$y^{\ast }$为1时：Loss的值为$-lo{g}^y$

平方：

$Loss2=y^{\ast }\ast (1-y{)}^2$

• 当$y^{\ast }$为0时：Loss的值为0
• 当$y^{\ast }$为1时：Loss的值为$(1-y{)}^2$

绝对值：

$Loss3=y^{\ast }\ast |1-y{|}^2$

• 当$y^{\ast }$为0时：Loss的值为0
• 当$y^{\ast }$为1时：Loss的值为$|1-y|$

---

这是三种求损失函数的表达式

我们可以对这三种损失函数就行求偏导

这样我们可以得到：

$Loss{1}^{\prime }=-\frac{y^{\prime }}{y}$

$Loss{2}^{\prime }=-2\ast (1-y)\ast y^{\prime }$

$Loss{3}^{\prime }=-y^{\prime }$

通过上面的表达式，我们可以进行比较一下

这三个$Loss$的值在进行梯度下降的时候，其中梯度的变化程度

因为$y$是概率值，是大于0小于1的

所以按照公式进行比较的话，会有如下的答案：

$Loss1>Loss3>Loss2$

---