最大似然估计与交叉熵

首先说结论： 当数据量足够大时，最大似然估计等价于最小化交叉熵

下面解释上述结论是如何推导出的，首先我们了解一下熵的定义：

熵

熵是信息论中的概念，首先需要定义一个事件$X=x$的信息量，要求满足以下两个条件：

1. 越不可能发生的事情，信息越大
2. 几个独立事件同时发生的信息量=每一个事件的信息量之和

同时满足以上两个条件的且最为简单的函数就是对数函数了，s.t. $I(x)=-logP(x)$
Proof： $P(x)$越大，$I(x)=-logP(x)$越小
$$\begin{array}{rl}I(x_1,x_2,x_3)& =-logP(x_1,x_2,x_3)\\ & =-logP(x_1)P(x_2)P(x_3)\\ & =-(logP(x_1)+logP(x_2)+logP(x_3))\\ & =I(x_1)+I(x_2)+I(x_3)\end{array}$$

有了事件的信息量之后，可以定义熵为满足分布P的事件所产生的期望信息量：
$$H(P)=E_{x\sim P}[I(x)]=-E_{x\sim P}[logP(x)]=-\sum _{i}P(x_i)logP(x_i)$$

---

交叉熵

有两个概率分布P，Q,其中P为真实分布，Q为预测的分布。信息论指出，按分布P来识别一个样本所需的平均编码长度等于该分布的熵：$H(P)=-{\sum }_{i}P(x_i)logP(x_i)$

而由于现实当中，我们很难知道训练数据的真实分布P，而如果用预测分布Q来做同样的事情，所需平均编码长度为：$$H(P,Q)=-E_{x\sim P}[logQ(x)]=-\sum _{i}P(x_i)logQ(x_i)$$

但单纯的交叉熵并没有实际的意义，有意义的是用预测分布Q所需的平均编码长度比用真实分布P所需的平均编码长度多多少，由此我们可以引入相对熵

---

相对熵（KL散度）

相对熵的定义就是我们上面说的用预测分布Q所需的平均编码长度比用真实分布P所需的平均编码长度多多少。所以说相对熵可以用来衡量两个分布的差距，最小化相对熵就可以使得预测分布Q尽量逼近真实分布P，因此可以使用相对熵来作为机器学习的目标函数。
$$KL(P||Q)=H(P,Q)-H(P)=\sum _{i}P(x_i)log\frac{P(x_i)}{Q(x_i)}$$
但观察相对熵的公式，我们可以发现$H(P)$其实是一个固定的量（尽管未知），因此：
$$argmi{n}_{Q}KL(P||Q)\rightleftharpoons argmi{n}_{Q}H(P,Q)$$
最小化KL散度等价于最小化交叉熵！！！ 所以交叉熵也可以作为机器学习的目标函数！

---

最大似然估计

最大似然估计应该是我们最熟悉，也最为广泛使用的目标函数了，那么它与最小化相对熵/交叉熵有什么不同呢？首先看最大似然的公式（P为真实分布，Q为预测分布，但因为我们只知道预测分布，所以用Q来求最大似然）：
$$\begin{array}{rl}{\theta }^{\ast }& =argma{x}_{\theta }\prod _{i}Q(x_i;\theta )\\ & =argma{x}_{\theta }\sum _{i}logQ(x_i;\theta )\\ & =argma{x}_{\theta }\frac{1}{m}\sum _{i}logQ(x_i;\theta )\end{array}$$
当$m$足够大时，由大数定律，$\frac{1}{m}{\sum }_{i}logQ(x_i;\theta )\to E_{x-P}[logQ(x_i;\theta )]$，因此：
$$\begin{array}{rl}{\theta }^{\ast }& =argma{x}_{\theta }\sum _{i}P(x_i)logQ(x_i;\theta )\\ & =argmi{n}_{\theta }-\sum _{i}P(x_i)logQ(x_i;\theta )\\ & =argmi{n}_{\theta }H(P,Q)\end{array}$$
当数据量足够大时，最大似然估计也等价于最小化交叉熵！！

Note: 另一种常见的最大似然估计形式${\prod }_{i}P(x{)}^{\tilde{P}(x)}$其实就来自于上面的化简式：${\sum }_{i}P(x_i)logQ(x_i;\theta )=log{\prod }_{i}Q(x_i;\theta {)}^{P(x_i)}$，只不过这里把真实分布$P(x)$用经验分布$\tilde{P}(x)$代替了而已