信息论基础（熵，互信息，交叉熵）

1 熵

1.1 自信息和熵

熵（Entropy）最早是物理学的概念，用于表示一个热力学系统的无序程度。1948年，香农将统计物理中熵的概念，引申到信道通信的过程中，从而开创了”信息论“这门学科。香农定义的“熵”又被称为“香农熵” 或 “信息熵”。在信息论中，熵用来衡量一个随机事件的不确定性。假设对一个随机变量（取值集合为，概率分布为）进行编码，自信息（Self Information）是变量时的信息量或编码长度，定义为
那么随机变量的平均编码长度，即熵定义为：
其中当时，我们定义，这与极限一致，。
熵是一个随机变量的平均编码长度，即自信息的数学期望。熵越高，则随机变量的信息越多；熵越低，则信息越少。如果变量当且仅当在时，则熵为0。也就是说，对于一个确定的信息，其熵为0，信息量也为0。如果其概率分布为一个均匀分布，则熵最大。下图展示了一个二元信源的熵函数：

二元信源熵函数

1.2 联合熵和条件熵

对于两个离散随机变量和，假设取值集合为；取值集合为，其联合概率分布满足为，则
和的联合熵（Joint Entropy）为
联合熵的物理意义是:观察一个多个随机变量的随机系统获得的信息量。观察一个多个随机变量的随机系统获得的信息量。
和的条件熵（Conditional Entropy）为
$\begin{align} H(X|Y) & = -\sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log p(x|y) \\ & = -\sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log \frac{p(x,y)}{p(y)} \\ & = -(\sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log p(x,y) - \sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log p(y))\\ & = -(\sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log p(x,y) - \sum_{y \in \upsilon} p(y) \log p(y))\\ & = H(X,Y) - H(Y) \end{align}$ 条件熵的物理意义就是：在得知某一确定信息的基础上获取另外一个信息时所获得的信息量。

2 互信息

互信息（Mutual Information）是衡量已知一个变量时，另一个变量不确定性的减少程度。两个离散随机变量和的互信息定义为
互信息的一个性质为
如果和互相独立，即和之间互相不提供任何信息，反之亦然，因此他们的互信息为0。

3 交叉熵和相对熵

3.1 交叉熵

现在有关于样本集的两个概率分布和，其中为真实分布，非真实分布。如果用真实分布来衡量识别别一个样本所需要编码长度的期望（平均编码长度）为:
如果使用非真实分布来表示来自真实分布的平均编码长度，则是：
因为用来编码的样本来自于分布，所以中的概率是。此时就将称之为交叉熵。在给定的情况下，如果和越接近，交叉熵越小；如果和越远，交叉熵就越大。

3.2 相对熵（KL散度）

散度（Kullback-Leibler Divergence），也叫距离或相对熵(Relative Entropy)，是用概率分布来近似时所造成的信息损失量。散度是按照概率分布的最优编码对真实分布为的信息进行编码，其平均编码长度和的最优平均编码长度之间的差异。对于离散概率分布和，从到的KL散度定义为:
其中为了保证连续性，定义散度可以是衡量两个概率分布之间的距离。散度总是非负的，。只有当时，。如果两个分布越接近，散度越小；如果两个分布越远，散度就越大。但散度并不是一个真正的度量或距离，一是散度不满足距离的对称性，二是散度不满足距离的三角不等式性质。