信息论-熵

1. 熵（Entropy）

信息论中的熵（Entropy）一般被解释为随机分布的不确定性，但其实有明确的物理意义：编码一个随机事件，平均所需的比特位数下界（二进制下的最短平均编码长度，熵表达式中底数2的来源）。具体证明参考[^1]：
(1). 二进制中，长度为$L$的编码耗费的信息空间比例（代价）为:
$$cost(L)=\frac{1}{2^L}\text{\hspace{1em}(1-1)}$$
。比如，以01编码了一个信息，为了避免解码时的歧义其它编码不能以01开头，其长度为2占用了整个编码空间的代价为$cost(2)=\frac{1}{2^2}=\frac{1}{4}$
(2). 在二进制的各种编码方式中，以事件$x$出现的概率分布$p(x)$为代价编码时，平均编码长度会最短，用这种最佳编码方法得到的平均长度称为信息熵$H(p)$。

由（1-1）可知代价$cost(L)=p(x)时，编码事件$x$的长度L={\log }_2\frac{1}{p(x)}$，所以平均编码长度为：
$$avg(L)=H(p)=\sum _{x}p(x){\log }_2\left(\frac{1}{p(x)}\right)\text{\hspace{1em}(1-2)}$$
另一种更常见的变形为：
$$H(p)=-\sum _{x}p(x)\log (p(x))\text{\hspace{1em}(1-3)}$$
（因为$\log (1/a)=-\log (a)$ 。但原始形式更直观、物理意义更明确，为方便理解后面的相关概念也以原始形式引出）

2. 交叉熵（Cross-Entropy）

用其它分布$p(x)$的最佳编码方式来编码另一种分布$q(x)$时，信息的平均长度就是$p$关于$q$的交叉熵。结合(1-2)可知交叉熵$H_p(q)$：
$$H_p(q)=\sum _{x}q(x){\log }_2\left(\frac{1}{p(x)}\right)\text{\hspace{1em}(2-1)}$$
可以看出交叉熵不是对称的。

3. KL散度(KL divergence)

我们为什么要关心交叉熵？交叉熵给我们提供了一种方式来衡量两个概率分布的差异程度。如果$p$与$q$的差异越大，那么$p$关于$q$的交叉熵就比$q$的熵更大，这个差值称为KL散度(KL divergence)或相对熵：
$$\begin{gathered} D_p(q)=H_p(q)-H(q) \\ =\sum _{x}q(x){\log }_2(\frac{1}{p(x)})-\sum _{x}q(x){\log }_2(\frac{1}{q(x)}) \\ =\sum _{x}q(x){\log }_2(\frac{q(x)}{p(x)})\text{\hspace{1em}(3-1)} \end{gathered}$$

3.1 KL 散度、交叉熵与机器学习

交叉熵和KL divergence在机器学习领域都非常适用。很多问题都转化为学习一个分布去逼近另外一个分布，比如我们需要用一个预测的分布$p(x)$来逼近实际真实的分布$q(x)$。KL divergence提供了一个很好的思路来定义损失函数：$Loss(p)=D_p(q)=H_p(q)-H(q)$。因为在固定的样本上对于不同的预测分布$p(x)$， 真实分布的$H(q)$是一样的，所以优化目标一般直接用cross-entropy代替：
$$Loss(p)=H_p(q)$$

3.2 KL 散度的非负性

KL-divergence的非负性证明：
直观理解上，由定义可知熵$H(q)$已经是q的最优编码的平均长度，交叉熵$H_p(q)$是用另一种分布p的最优编码方式来编码q的平均长度，$H_p(q)$一定大于等于$H(q)$，所以是非负的。下面给出数学证明：

1. 吉布斯不等式：
   若${\sum }_{i=1}^n{q}_i={\sum }_{i=1}^n{q}_i=1$， 且$p,q\in (0,1]$则有：
   $$-\sum _{i=1}^n{q}_i\log (q_i)\le \sum _{i=1}^n{q}_i\log (p_i)\text{\hspace{1em}(3-2)}$$
2. $$\begin{gathered} D_p(q)=\sum _{x}q(x){\log }_2(\frac{q(x)}{p(x)}) \\ =\sum _{x}q(x){\log }_2(\frac{1}{p(x)})-\sum _{x}q(x){\log }_2(\frac{1}{q(x)}) \\ =-\sum _{x}q(x){\log }_2(p(x))-(-\sum _{x}q(x){\log }_2(q(x))) \\ \ge 0（由式(3-2)得） \end{gathered}$$

4. 联合熵、条件熵

将一维随机变量分布推广到多维随机变量分布，随机事件$X,Y$的联合信息熵$H(X,Y)$：
$$H(X,Y)=\sum _{x,y}p(x,y)\log \frac{1}{p(x,y)}\text{\hspace{1em}(4-1)}$$
条件熵 $H(X|Y)$ 表示在已知随机变量 $Y$ 的条件下随机变量 $X$ 的不确定性。条件熵 $H(X|Y)$ 定义为 $Y$ 给定条件下 $X$的条件概率分布的熵对 $Y$ 的数学期望：
$$\begin{gathered} H(X|Y)=\sum _{y}p(y)H(X|Y) \\ =\sum _{y}p(y)\sum _{x}p(x|y)\log \frac{1}{p(x|y)} \\ =\sum _{x,y}p(x,y)\log \frac{1}{p(x|y)}\text{\hspace{1em}(4-2)} \end{gathered}$$
关系：
$$H(X,Y)=H(Y)+H(X|Y)\text{\hspace{1em}(4-3)}$$
。 可以理解为$X$和$Y$共同的信息等于$Y$的信息量，加上知道$Y$后要表达$X$时的信息量。

5. 互信息（Mutual Information）

互信息就是一个联合分布中的两个信息的纠缠程度/或者叫相互影响那部分的信息量 ：
$$I(X;Y)=H(X)+H(Y)-H(X,Y)\text{\hspace{1em}(5-1)}$$
由式（4-3）可知上式等价于：
$$\begin{gathered} I(X;Y)=H(X)-H(X|Y) \\ =H(Y)-H(Y|X) \\ =I(Y,X)\text{\hspace{1em}(5-2)} \end{gathered}$$
式（5-2）通常也被称作信息增益，比如在决策树中用来衡量特征$Y$的加入对数据$X$的熵减少的程度，特征选择时选取信息增益大的特征。

5.1 MI表达式推导

互信息的表达式推导：
$$\begin{gathered} I(X;Y)=H(X)-H(X|Y) \\ =\sum _{x}p(x){\log }_2\left(\frac{1}{p(x)}\right)-\sum _{x,y}p(x,y)\log \frac{1}{p(x|y)} \\ =\sum _{x,y}p(x,y){\log }_2\left(\frac{1}{p(x)}\right)-\sum _{x,y}p(x,y)\log \frac{p(y)}{p(x,y)} \\ =\sum _{x,y}p(x,y){\log }_2\left(\frac{p(x,y)}{p(x)p(y)}\right)\text{\hspace{1em}(5-3)} \end{gathered}$$

5.2 点互信息PMI（Pointwise Mutual Information)

特征评估有时常用的另一种形式是点互信息(Pointwise Mutual Information, PMI)，用来衡量两个事物之间的相关性。比如两个词$x,y$，或者词$x$和类别$y$的相关性。
$$PMI(x;y)=\log \frac{p(x,y)}{p(x)p(y)}=\log \frac{p(y|x)}{p(y)}=\log \frac{p(x|y)}{p(x)}\text{\hspace{1em}(5-4)}$$
可以看出点互信息是对称的$PMI(x;y)=PMI(x;y)$。在概率论中我们知道，如果x跟y不相关，则$p(x,y)=p(x)p(y)$。如果二者相关性越大，则$p(x,y)$就相比于$p(x)p(y)$越大。

用后面的式子可能更好理解，在$y$出现的情况下$x$出现的条件概率$p(x|y)$（文本类别$y$中词$x$出现的频率）除以$x$本身出现的概率$p(x)$（词$x$在所有文本类别中出现的频率），自然就表示$x$跟$y$的相关程度（词$x$和文本类别$y$的相关程度）。

[^1] http://colah.github.io/posts/2015-09-Visual-Information/
[^2] https://www.cnblogs.com/kyrieng/p/8694705.html
[^3] https://blog.csdn.net/haolexiao/article/details/70142571