信息论基础（熵、相对熵、交叉熵、互信息）

熵（Shannon Entropy）

又称为“香农熵”或“信息熵”，是一个随机变量不确定性（信息量）的度量，也可理解为随机变量在信息系统中的编码长度。对于离散型随机变量 ，其信息熵可定义为：在熵正则化中，主要思想是利用信息熵衡量模型的Class Overlap（分类重合度）。熵越大，类别间重合度越大，模型分类的随机性越强，分类效果越差。因此，目标函数中引入信息熵作为一个正则项：最大化目标函数，即熵最小化。

相对熵（Relative Entropy）

又称为“信息散度”或“KL散度”，是两个概率分布间差异的非对称性度量，即这两个分布间的“距离”，等价于两个概率分布的信息熵的差值。对于离散型随机变量的两个不同概率分布和，对的相对熵可定义为：假设一个概率分布为真实分布，另一个为理论（拟合）分布，相对熵表示使用理论分布拟合真实分布时产生的信息损耗。

交叉熵（Cross Entropy）

两个概率分布和，其中表示真实分布，表示非真实分布，在相同的一组事件中，用非真实分布来表示某个事件发生所需要的平均比特数，即用分布表示目标分布的困难程度：可以注意到，当目标分布固定不变时，为常量，因此最小化交叉熵等价于最小化这两个分布的相对熵，即让模型训练得到的分布尽可能地接近真实分布。

互信息(Mutual Information)

表示一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不确定性（缩减的信息量）。对于两个随机变量和，设的先验概率为，后验概率为，则定义的后验概率与先验概率比值的对数为对的互信息量：最小化互信息，即最小化随机变量的不确定性。设这两个随机变量的联合分布为，边缘分布为和，展开可得，即互信息是联合分布与边缘分布的相对熵。