信息熵，交叉熵，相对熵

信息熵：衡量系统中不确定的程度、编码方案完美时，最短平均编码长度
交叉熵：码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码长度。是神经网络常用的损失函数
相对熵又称为散度：交叉熵-信息熵，relative entropy。编码方案不一定完美时，平均编码长度相对于最小值的增加值。
参考链接：https://www.zhihu.com/question/41252833
神经网络中为什么使用交叉熵与softmax组合的原因？
交叉熵刻画的是预测的分布与真实分布之间的差异，softmax可以将预测的值转化成一个概率分布。

为什么用交叉熵作为分类的损失函数？

https://blog.csdn.net/weixin_37567451/article/details/80895309