机器学习中各种熵(Entropy)的总结

信息熵 information entropy

1.量化信息

一条信息的信息量大小和它的不确定性有直接的关系，信息量的度量就等于不确定性的多少。换言之，概率越小，不确定性越大，信息所包含的信息量就越大。对于一件确定的事情，其信息量就为0。

考虑一个离散的随机变量x，那么信息的量度$I(x)$应满足以下条件：

• 单调性：随机变量发生的概率$p(x)$概率越小，其信息量应越大
• 非负性：概率$p(x)\in [0,1]$，信息量应非负
• 可加性：如果我们有两个不相关的事件$x$和$y$，那么观察两个事件同时发生时获得的信息量应该等于观察到事件各自发生时获得的信息之和。即$I(x,y)=I(x)+I(y)$

因为两个事件是独立不相关的，因此有$p(x,y)=p(x)p(y)$。
根据这些性质，我们可以很容易找到一个符合条件的函数：负对数，即：
$$I(x)=-\log p(x)$$
注：

• $\log$的基可以任意选取。信息论中基常常选择为2，因此信息的单位为比特bits；而机器学习中基常常选择为自然常数，因此单位常常被称为奈特nats
• 因为$p(x)$可能为0，而$\log 0$无意义，所以此处定义$0\log 0=0$

2.信息熵

如果把这个事件的所有可能性罗列出来，就可以求得该事件信息量的期望，也即信息熵：
$$H(X)=\mathbb{E}[I(x)]=-\sum _{x\in X}p(x)\log p(x)$$
信息熵反映了一个系统的无序化（有序化）程度，一个系统越无序，信息熵就越高。显然，随机变量的取值个数越多，状态数也就越多，信息熵就越大，混乱程度就越大。当随机分布为均匀分布时，熵最大。

3.联合熵

将一维随机变量分布推广到多维随机变量分布，则可得联合熵 (Joint entropy) 为：
$$H(X,Y)=-\sum _{x,y}p(x,y)\log p(x,y)=-\sum _{i=1}^n\sum _{j=1}^{m}p(x_i,y_i)\log p(x_i,y_i)$$

---

条件熵 conditional entropy

条件熵$H(Y|X)$表示在已知随机变量$X$的条件下随机变量$Y$的不确定性。定义为$X$给定条件下$Y$的条件概率分布的熵对 $X$的数学期望：
$H(Y|X)={\sum }_{x}p(x)H(Y|X=x)$
$=-{\sum }_{x}p(x){\sum }_{y}p(y|x)\log p(y|x)$
$=-{\sum }_{x,y}p(x,y)\log p(y|x)$

联合熵$H(X,Y)$ = 条件熵$H(Y|X)$ + 单独的熵$H(X)$
$H(X,Y)=-{\sum }_{x,y}p(x,y)\log p(x,y)$
$=-{\sum }_{x,y}p(x,y)\log (p(y|x)p(x))$
$=-{\sum }_{x,y}p(x,y)\log p(y|x)-{\sum }_{x,y}p(x,y)\log p(x)$
$=H(Y|X)-{\sum }_x\log p(x){\sum }_{y}p(x,y)$
$=H(Y|X)-{\sum }_{x}p(x)\log p(x)$
$=H(Y|X)+H(X)$

理解：描述 X 和 Y 所需的信息是描述 X 自己所需的信息,加上给定 X 的条件下具体化 Y 所需的额外信息。

---

相对熵 relative entropy

也称KL散度(Kullback–Leibler divergence)，用来量度两个概率分布之间的差异（不相似性）。
设$p(x)$、$q(x)$是离散随机变量$X$中取值的两个概率分布，则$p$对$q$的相对熵是：
$$D_{KL}(p||q)=\sum _{x}p(x)\log \frac{p(x)}{q(x)}=E_{p(x)}\log \frac{p(x)}{q(x)}$$
性质：

• $D_{KL}(p||q)\ge 0$，当且仅当$p(x)=q(x)$时，$D_{KL}(p||q)=0$
• 不对称性：$D_{KL}(p||q)\ne D_{KL}(q||p)$

应用：
在TRPO(Trust Region Policy Optimization, 置信域策略优化)算法中，通过限制新旧策略的KL散度，将每一次对策略的更新都限制了信任域内，从而极大地增强了训练的稳定性。

算法：
$$maximize{}_{\theta }{\mathbb{E}}_{s\sim {\rho }_{{\theta }_{old}},a\sim q}[\frac{{\pi }_{\theta }(a|s)}{q(a|s)}{Q}_{{\theta }_{old}}(s,a)]$$
$$subjectto{\mathbb{E}}_{s\sim {\rho }_{{\theta }_{old}}}[D_{KL}({\pi }_{{\theta }_{old}}(\cdot |s)||{\pi }_{\theta }(\cdot |s))]<\delta$$

---

交叉熵 cross entropy

用来量度模拟分布$q(x)$与真实分布$p(x)$之间的差距。

我们对相对熵的公式进行变形：

$D_{KL}(p||q)={\sum }_{x}p(x)\log \frac{p(x)}{q(x)}=-{\sum }_{x}p(x)\log q(x)-(-{\sum }_{x}p(x)\log p(x))$

对于真实分布$p(x)$来说，后面那项，也就是分布的熵$-{\sum }_{x}p(x)\log p(x)$为一常数（代表训练数据的分布是固定不变的），可不关注。而表达式剩下的第一项就是交叉熵，即：
$$H(p||q)=-\sum _{x}p(x)\log q(x)$$

在分类问题中，我们希望模型预测出的模拟分布$q(x)$与真实分布$p(x)$的差距尽可能小，所以交叉熵常被用作分类问题的损失函数(loss function)，我们minimize交叉熵的时候，其实就是在让模拟分布更靠近真实分布。

---

熵的另一种理解

熵的本质的另一种理解：最短平均编码长度（即当编码方式完美时，编码长度的期望值）

编码方式：哈夫曼编码。即：使用更短的编码来描述更可能的事件，使用更长的编码来描述不太可能的事件。

举例：考虑某随机变量$x$，有四种等可能的状态$\{a,b,c,d\}$，为了把$x$的值传给别人，我们需要对其状态进行编码，我们将四种状态编码为00,01,10,11，无论$x$在哪个状态下，编码都需要2 bits长度。

其信息熵（由于计算机为二进制，故在信息论中$\log$的底常为2）为：
$$H(X)=-\sum _{x}p(x)\log p(x)=-4\ast \frac{1}{4}{\log }_2\frac{1}{4}=2bits$$

当$x$的分布发生变化，四种可能的状态概率变为$\{\frac{1}{2},\frac{1}{4},\frac{1}{8},\frac{1}{8}\}$时，我们用更短的编码描述概率更大的状态，可用哈夫曼编码为0,10,110,111

那么平均编码长度，也即信息熵为：
$$H(X)=-\sum _{x}p(x)\log p(x)=-(\frac{1}{2}{\log }_2\frac{1}{2}+\frac{1}{4}{\log }_2\frac{1}{4}+2\ast \frac{1}{8}{\log }_2\frac{1}{8})=1.75bits$$

也印证了之前当随机分布为均匀分布时，熵最大的结论。

这样的理解也可以推广到相对熵和交叉熵上去：
相对熵含义：用模型分布编码真实分布时，所额外消耗的编码长度。
交叉熵含义：使用了模型分布编码真实分布时，得到的平均编码长度

从这里也可以得到 信息熵+相对熵=交叉熵 的结论。

---

参考 references

https://www.cnblogs.com/kyrieng/p/8694705.html
https://www.zhihu.com/question/41252833