信息量，熵，KL散度，交叉熵

REFER:
陈远. 信息论与编码(第三版). 电子工业出版社. p11
徐彬. 实战深度学习算法. 电子工业出版社. p21
一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉

信息量

如何度量信息？自信息量（self-information）。
自信息量：一个随机事件发生某一结果后带来的信息量称为自信息量。
对于事件x，我们用I(x)来表示事件的信息量，那么信息量应该满足以下的要求：

1. 概率越小，信息量越大。当越不可能的事件发生了，我们获取到的信息量就越大；越可能发生的事件发生了，我们获取到的信息量就越小；当事件是确定，信息量为0，即p(x)=1时，I(x)=0。上面的话理解起来非常直观，例如小王老婆生了孩子但不是小王的，这件事概率很小，但发生了以后信息量就很大，引人浮想联翩。
   
2. 信息量应该是可加的。两件相互独立的事情，他们同时发生了，获得的信息量是他们分别信息量之和。
   
3. 信息量是非负的。
   

基于上述的要求，就选择了对数的形式来定义信息量：

熵

熵（entropy），又称平均信息量，定义为各离散消息的自信息量的数学期望（概率加权的平均值）。
熵用来表达随机变量的不确定性，熵越大，随机变量的不确定性越大。

比如，一个事件存在两种可能性，当两个可能性相等时，不确定性最大，因为我们没有先验的知识去判断哪一个的概率更大，哪怕是一点点，所以熵也最大。

简单写代码验证一下：

import numpy as np
import matplotlib.pyplot as plt

self_info = lambda p: - np.log(p)
p1 = np.arange(0.1, 1, 0.1)
p2 = 1-p1
h = p1 * self_info(p1) + p2 * self_info(p2)
plt.plot(p1, h)
plt.show()

相对熵（KL散度）

相对熵（relative entropy），又叫KL 散度（Kullback-Leibler divergence）。
如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x)，我们可以使用相对熵来衡量这两个分布的差异。或者更准确地说，对于分布P(x)，其他的分布Q(x)和它的差异。即如果用P来描述目标问题，而不是用Q来描述目标问题，得到的信息增量。

在机器学习中，P往往用来表示样本的真实分布，比如样本有3个类别，当前样本点属于类别1，用onehot表示为[1,0,0]；Q用来表示模型所预测的分布，比如[0.7,0.2,0.1]。
直观的理解就是如果用P来描述样本，那么就非常完美。而用Q来描述样本，虽然可以大致描述，但是不是那么的完美，信息量不足，需要额外的一些信息增量才能达到和P一样完美的描述。如果我们的Q通过反复训练，也能完美的描述样本，那么就不再需要额外的信息增量，Q等价于P。

对于已知的分布P，KL散度为什么能计算别的分布Q和它的差异呢？我们观察KL散度的表达式，它是一个关于P的期望的形式，我们去掉这个外壳：

因为P是已知的，p(xi)是一个常数：

交叉熵

交叉熵表示为：

对KL散度公式进行一下变换：

在机器学习中，我们需要评估label和predict之间的差距，使用KL散度刚刚好，由于KL散度中的前一部分不变，故在优化过程中，只需要关注交叉熵就可以了。所以一般在机器学习中直接用用交叉熵做loss，评估模型。

交叉熵和KL散度都可以刻画两个概率分布的差异，交叉熵越小，两个概率分布约相似，但是他们不是严格意义上的距离，因为两者都不具备对称性：

关于底数

出于简化推导，优化数值计算效率的考虑，对数的底可以因地制宜地选择。