最大似然估计、KL散度和交叉熵

深度学习建立在概率论的基础上，本质是估计数据集(具有随机误差)的分布，即定义模型后进行参数估计。

极大似然估计

极大似然估计是点估计的一种，我们定义一个似然函数来作为对真实分布的估计，取似然程度最大的一组参数作为估计值。

给定分布$p(x;\mathbf{\theta })$，从中取一组样本$X_1,X_2,X_3,...,X_n$，则样本的$pdf$为
$$L(\mathbf{\theta };X_1,X_2,X_3,...,X_n)=\prod _i^{n}p(x_i;\mathbf{\theta })$$
其中，参数$\mathbf{\theta }$未知，$L$即为似然函数。
该问题也就转化为，在观测到一组样本$X_1,X_2,X_3,...,X_n$时，$\mathbf{\theta }$取什么值会使样本出现的可能性最大，也就是求$L$最大时的参数$\mathbf{\theta }$值。
$$arg\underset{\theta }{\max }\prod _i^{n}p(x_i;\mathbf{\theta })$$
求积转为求和的对数，便于计算
$$arg\underset{\theta }{\max }\sum _i^n\log p(x_i;\mathbf{\theta })=arg\underset{\theta }{\min }-\sum _i^n\log p(x_i;\mathbf{\theta })$$

KL散度 & 交叉熵

从另一个角度来讲，如何衡量$p_{\theta }$和$p_{\hat{\theta }}$的差异呢？使用f-divergence中的KL散度来进行衡量。

KL散度定义为
$$D_{KL}(p_{\theta }||p_{\hat{\theta }})=\sum _i^n{p}_{\theta }(x_i)\log \frac{p_{\theta }(x_i)}{p_{\hat{\theta }}(x_i)}=\sum _i^n{p}_{\theta }(x_i)\log p_{\theta }(x_i)-\sum _i^n{p}_{\theta }(x_i)\log p_{\hat{\theta }}(x_i)$$
其中，
$$\sum _i^n{p}_{\theta }(x_i)\log p_{\theta }(x_i)$$为常量。

因此，问题就转化为
$$arg\min -\sum _i^n{p}_{\theta }(x_i)\log p_{\hat{\theta }}(x_i)=arg\underset{\mathbf{\theta }}{\min }-E_x\log p_{\hat{\theta }}(\mathbf{x})$$
该式子也是交叉熵。

结论

根据大数定理，
$$\sum _i^n\log p(x_i;\mathbf{\theta })=E_x\log p_{\hat{\theta }}(\mathbf{x})$$

也就是在本问题中，求极大似然估计、最小化KL散度和最小化交叉熵等价。

---

注

大数定理

若$X_1,X_2,X_3...$为独立同分布(iid)的随机变量，且$E(X)=\mu ,VarX={\sigma }^2<\infty$，定义$\overline{X_n}={\sum }_i^n{X}_i$，则有
$$\underset{n\to \infty }{\lim }P(|\overline{X_n}-\mu |>ϵ)=0$$

f-divergence(f-散度)

在概率论中，f散度是用来测量两个分布P和Q之间差异的函数，定义为
$$D_f(P||Q)=\int f(\frac{dP}{dQ})dQ$$
若P和Q可导
$$D_f(P||Q)=\int f(\frac{(p(x)}{q(x)})q(x)dx$$
当$f(t)$取不同的函数时，即为不同的散度，KL散度取$f(t)=t\log (t)$
$$D_{KL}(P||Q)=\int p(x)\frac{(p(x)}{q(x)}dx$$

熵、KL散度和交叉熵

• 熵:$H(X)=-{\sum }_i^{n}p(x_i)\log p(x_i)$，表示不确定程度，越不确定值越大
• KL散度(相对熵): $D_{KL}(p_{\theta }||p_{\hat{\theta }})={\sum }_i^n{p}_{\theta }(x_i)\log p_{\theta }(x_i)-{\sum }_i^n{p}_{\theta }(x_i)\log p_{\hat{\theta }}(x_i)$
• 交叉熵: $CE(X)=-{\sum }_i^n{p}_{\theta }(x_i)\log p_{\hat{\theta }}(x_i)$
  从定义里可以看出，当熵为常量时，KL散度和交叉熵等价。