机器学习中交叉熵和相对熵的关系

机器学习中交叉熵和相对熵的关系

首先需要了解几个概念
自信息： 描述单个事件的不确定性
$$\text{ I }(x)=-\log [\mathbf{p}(\mathbf{x})]$$
信息熵：描述整个事件的不确定性，事件越不确定，熵也就越大。即对自信息在事件上的概率分布求期望
$$\text{ H(P) }={\mathbf{E}}_{\mathbf{x}\sim p}[\mathbf{I}(\mathbf{x})]=-\sum _i^N\mathbf{P}\left({\mathbf{x}}_{\mathbf{i}}\right)\log \mathbf{P}\left({\mathbf{x}}_{\mathbf{i}}\right)$$

上图是对一个简单的二项分布求熵的结果，可以看到当probability=0.5时，信息熵的值最大等于0.69也就是最不确定。
交叉熵：描述两个分布有多接近
$$\mathrm{H}(\mathbf{P},\mathbf{Q})=-\sum _{i=1}^N\mathbf{P}\left({\mathbf{x}}_i\right)\log \mathbf{Q}\left({\mathbf{x}}_{\mathbf{i}}\right)$$
相对熵(KL距离): 描述两个分布的距离
$${\mathbf{D}}_{KL}(\mathbf{P},\mathbf{Q})={\mathbf{E}}_{\mathbf{x}\sim p}\left[\log \frac{P(\mathbf{x})}{Q(\mathbf{x})}\right]$$
将上式进行变换
$$\begin{array}{rl}{\mathbf{D}}_{KL}(\mathbf{P},\mathbf{Q})& ={\mathbf{E}}_{\mathbf{x}\sim p}\left[\log \frac{P(\mathbf{x})}{Q(\mathbf{x})}\right]\\ & ={\mathbf{E}}_{\mathbf{x}\sim p}[\log \mathbf{P}(\mathbf{x})-\log \mathbf{Q}(\mathbf{x})]\\ & =\sum _{i=1}^N\mathbf{P}\left({\mathbf{x}}_i\right)\left[\log \mathbf{P}\left({\mathbf{x}}_i\right)-\log \mathbf{Q}\left({\mathbf{x}}_i\right)\right]\\ & =\sum _{i=1}^N\mathbf{P}\left({\mathbf{x}}_i\right)\log \mathbf{P}\left({\mathbf{x}}_i\right)-\sum _{i=1}^N\mathbf{P}\left({\mathbf{x}}_i\right)\log \mathbf{Q}\left({\mathbf{x}}_i\right)\\ & =\mathbf{H}(\mathbf{P},\mathbf{Q})-\mathbf{H}(\mathrm{P})\end{array}$$
最终得到：
$$\text{ 交叉熵： }\mathrm{H}(\mathbf{P},\mathbf{Q})={\mathbf{D}}_{KL}(\mathbf{P},\mathbf{Q})+\mathrm{H}(\mathbf{P})$$
由于$H(P)$是常数，所以在进行优化的时候可以忽略，故优化交叉熵函数即优化相对熵(KL距离)。