softmax回归与交叉熵损失函数

交叉熵损失函数

在《动手学深度学习》 softmax回归 一节中，交叉熵损失函数比较晦涩，学习csdn上其他博客后有了一定了解，做此记录

softmax回归

softmax回归同线性回归一样，也是一个单层神经网络，但和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。

由于每个输出的计算都依赖于所有的输入，所以softmax回归的输出层也是一个全连接层。

交叉熵损失函数

引入交叉熵损失函数意义如下：

为什么交叉熵损失函数最小值可以作为分类预测概率最大值：
此处用到了信息熵、相对熵的概念，参考以下文章
交叉熵损失函数原理详解

交叉熵损失函数与softmax回归

在分类问题中，softmax将输出的结果进行处理，使其多个分类的预测概率值和为1，输出类别的概率分布，再通过交叉熵来计算损失，所以两者经常一起使用。

参考

https://blog.csdn.net/b1055077005/article/details/100152102