极大似然估计和最小化交叉熵损失（KL散度）

先说结论：极大似然估计和最小化交叉熵损失（KL散度）完全等价
我们从无标签和有标签两个角度来证明这个结论。

1.无标签样本

1.1.数据集

假设我们的数据集为$\mathcal{D}=\{x_1,x_2,\cdots ,x_N\}$，每个数据为$x_i=\left[\begin{array}{c}{x}_i^1\\ x_i^2\\ \cdots \\ x_i^p\end{array}\right]$的$p$维列向量。假设数据真实的概率分布为$p(x)$。我们用最大似然估计来计算数据的近似分布$q(x|\theta )$

1.2.公式推导

极大似然估计如下：
$$\begin{array}{rl}& \theta =\underset{\theta }{\mathrm{argmax}}q(x|\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\prod _{i=1}^{N}q(x_i|\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log q(x_i|\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\frac{1}{N}\sum _{i=1}^N\log q(x_i|\theta )\end{array}\text{\hspace{1em}(1)}$$已知大数定理，若$X$服从某一分布$p(x)$，对$X$依分布$p(x)$采样$n$次，当$n$充分大的时候，$\frac{1}{n}{\sum }_{i=1}^n{x}_i$依概率收敛$E_{x\sim p(x)}[X]$。
所以(1)可转换为$$\begin{array}{rl}& \theta =\underset{\theta }{\mathrm{argmax}}\frac{1}{N}\sum _{i=1}^N\log q(x_i|\theta )\\ & \approx \underset{\theta }{\mathrm{argmax}}{E}_{x\sim p(x)}[\log q(x|\theta )]\\ & =\underset{\theta }{\mathrm{argmax}}\int p(x)\log q(x|\theta )dx\\ & =\underset{\theta }{\mathrm{argmin}}\int -p(x)\log q(x|\theta )dx\\ & =\underset{\theta }{\mathrm{argmin}}\int p(x)\log \frac{1}{q(x|\theta )}dx\\ & =\underset{\theta }{\mathrm{argmin}}\int p(x)\log \frac{p(x)}{q(x|\theta )}dx\\ & =\underset{\theta }{\mathrm{argmin}}KL(p(x)||q(x|\theta ))\end{array}\text{\hspace{1em}(2)}$$由(1)(2)可知最大似然和最小化$KL$散度等价。

2.有标签样本

2.1.数据集

有标签样本的数据集和我之前写过的线性回归数据集在形式上是一样的：$$\mathcal{D}=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$$每个数据为$x_i=\left[\begin{array}{c}{x}_i^1\\ x_i^2\\ \cdots \\ x_i^p\end{array}\right]$的$p$维列向量，对应一个标量$y_i$。

2.2.公式推导

$$\begin{array}{rl}& \theta =\underset{\theta }{\mathrm{argmax}}q(Y|X,\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\prod _{i=1}^{N}q(y_i|x_i,\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log q(y_i|x_i,\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\frac{1}{N}\sum _{i=1}^N\log q(y_i|x_i,\theta )\end{array}\text{\hspace{1em}(3)}$$
(3)由大数定理转化为：
$$\begin{array}{rl}& \theta =\underset{\theta }{\mathrm{argmax}}\frac{1}{N}\sum _{i=1}^N\log q(y_i|x_i,\theta )\\ & \approx \underset{\theta }{\mathrm{argmax}}{E}_{x,y\sim p(x,y)}[\log q(y|x,\theta )]\\ & =\underset{\theta }{\mathrm{argmax}}\int \int p(x,y)\log q(y|x,\theta )dxdy\\ & =\underset{\theta }{\mathrm{argmax}}\int \int p(y|x)p(x)\log q(y|x,\theta )dxdy\\ & =\underset{\theta }{\mathrm{argmax}}\int p(x)[\int p(y|x)\log q(y|x,\theta )dy]dx\\ & \approx \underset{\theta }{\mathrm{argmax}}{E}_{x\sim p(x)}[\int p(y|x)\log q(y|x,\theta )dy]\\ & =\underset{\theta }{\mathrm{argmin}}{E}_{x\sim p(x)}[\int -p(y|x)\log q(y|x,\theta )dy]\\ & =\underset{\theta }{\mathrm{argmin}}{E}_{x\sim p(x)}[\int p(y|x)\frac{1}{\log q(y|x,\theta )}dy]\\ & =\underset{\theta }{\mathrm{argmin}}{E}_{x\sim p(x)}[\int p(y|x)\frac{p(y|x)}{\log q(y|x,\theta )}dy]\\ & =\underset{\theta }{\mathrm{argmin}}{E}_{x\sim p(x)}[KL(p(y|x)||q(y|x,\theta ))]\end{array}\text{\hspace{1em}(4)}$$由于我们是对条件概率$q(y|x)$进行建模，因此极大似然估计也等同于最小化KL散度等价。

3.参考

https://zhuanlan.zhihu.com/p/84764177