CNN交叉熵损失函数

原文链接： https://zhuanlan.zhihu.com/p/35709485

转参考知乎ID（小飞鱼）链接：损失函数-交叉熵损失函数

1.交叉熵损失函数表达式

1.1二分类式：L=-[y*log(p)+(1-y)*log(1-p)]

参数含义：

y：样本标签，正确为1，错误为0

p：预测正确概率

1.2多分类表达式如图：

参数含义：

M：类别的数量

yc：只是变量，正确为1，否则为0

Pc:预测正确的概率

2.函数的性质

右图可得，函数为凸函数，求导即可得到全局最优值。

3.二分类情况函数求导推导

如上图所示，求导分为三部分，即：

（1）第一部分：

（2）第二部分：

（3）第三部分：

（4）合并得：

4.优点

梯度下降算法在更新参数的时候，模型的学习率与两个数值有关。

一：学习率（自身设定的超参数）

二：偏导值（决定函数由上图所示）

当学习效果较差时，学习的速率越快，当学习效果变好时，学习的速率就会减缓。