极大似然估计与交叉熵

前言

关于极大似然估计和交叉熵我就不介绍了，有兴趣的可以看我其他的博客，我这里只讲他们的联系。

公式

现有一个真实的分布 $P(x)$，现在为了减小模型的概率分布 $Q(x;\theta )$ 与真实分布P之间的差异，使用最大似然：
$$\begin{array}{rl}{\theta }_{MLE}& =arg\max \prod _{i=1}^{m}Q(x^i;\theta )\\ & \\ & =arg\max \sum _{i=1}^m\log Q(x^i;\theta )\\ & \\ & \approx arg\max E_{x\sim P(x)}[\log Q(x;\theta )]\\ & \\ & =-arg\min E_{x\sim P(x)}[\log Q(x;\theta )]\end{array}$$
可以看出，最小化交叉熵和最大似然函数结果是一样的。