多层神经网络，从零开始——（八）、分类问题中为什么使用交叉熵作为损失函数

“There were many at Bell Labs and MIT who compared Shannon’s insight to Einstein’s. Others found that comparison unfair—unfair to Shannon.”

“贝尔实验室和MIT有很多人将香农和爱因斯坦相提并论，而其他人则认为这种对比是不公平的——对香农不公平。”

前言

将熵这个概念用于信息是一位天才的杰作，作为信息论的创始人，大概是因为他掌控了信息传播所以他的成就才不为一般公众所知吧^[1]。知乎有专栏介绍了香农的工作^[2]，他的硕士论文《A Symbolic Analysis of Relay and Switching Circuits》（继电器与开关电路的符号分析），被评“这可能是本世纪最重要、最著名的一篇硕士论文。”，大概天才都是年轻的时候就光芒万丈吧。

在分类任务中，使用交叉熵作为损失函数就与信息熵有关^[3][4]。

交叉熵

附录

多层神经网络，从零开始——（一）、Fortran读取MNIST数据集
多层神经网络，从零开始——（二）、Fortran随机生成“双月”分类问题数据
多层神经网络，从零开始——（三）、BP神经网络公式的详细推导
多层神经网络，从零开始——（四）、多层BP神经网络的矩阵形式
多层神经网络，从零开始——（五）、定义数据结构
多层神经网络，从零开始——（六）、激活函数
多层神经网络，从零开始——（七）、损失函数
多层神经网络，从零开始——（八）、分类问题中为什么使用交叉熵作为损失函数
多层神经网络，从零开始——（九）、优化函数
多层神经网络，从零开始——（十）、参数初始化
多层神经网络，从零开始——（十一）、实现训练类
多层神经网络，从零开始——（十二）、实现算例类
多层神经网络，从零开始——（十三）、关于并行计算的简单探讨

---

1. Quora. Why is Claude Shannon so underappreciated compared to other great thinkers of his day like Turing and Einstein? ↩

2. https://zhuanlan.zhihu.com/p/22010182. ↩

3. https://en.m.wikipedia.org/wiki/Entropy_in_thermodynamics_and_information_theory ↩

4. https://en.m.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence ↩