西瓜书+实战+吴恩达机器学习（二三）EM算法和变分推断

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

0. 前言

EM算法是常用的估计参数隐变量的方法，它是一种迭代式算法，EM算法原型：

• E步：若参数$\theta$已知，则可根据训练数据推断出最优隐变量$Z$
• M步：若$Z$的值已知，则可方便的对参数$\theta$进行极大似然估计

1. EM算法

在概率图模型中，主要推断任务是基于观测变量推断隐变量和参数，即$p(z\mid x,\theta )$和$\theta$。

通过EM算法不断迭代：

• E步：根据$t$时刻的参数${\theta }^t$和观测变量推断$p(z\mid x,{\theta }^t)$，并计算联合似然函数$p(z,x\mid {\theta }^t)$，然后计算对数似然$LL(\theta \mid x,z)$关于隐变量的期望：
  $$\begin{array}{rl}Q(\theta ;{\theta }^t)=& E_{z\mid x,{\theta }^t}LL(\theta \mid x,z)\\ & =E_{z\mid x,{\theta }^t}\ln p(x,z\mid \theta )\\ & =\sum _{z}p(z\mid x,{\theta }^t)\ln p(x,z\mid \theta )\end{array}$$
• M步：寻找参数的最大化期望似然：
  $${\theta }^{t+1}=\arg \underset{\theta }{\max }Q(\theta ;{\theta }^t)$$

2. 变分推断

变分推断通过使用已知简单分布来逼近需推断的复杂分布，并通过限制近似分布的类型，从而得到一种局部最优、但具有确定解的近似后验分布。

在现实任务中，E步对$p(z\mid x,{\theta }^t)$的推断可能因为$z$的模型复杂而难以进行，可借助变分推断，令$q(z)=p(z\mid x,{\theta }^t)$，假设$z$服从分布：
$$q(z)=\prod _{i=1}^M{q}_i(z_i)$$

可求得最优分布$q_j^{\ast }$：
$$\begin{gathered} \ln q_j^{\ast }(z_j)=E_{i̸=j}[\ln p(x,z)]+const \\ \Rightarrow q_j^{\ast }(z_j)=\frac{\exp (E_{i̸=j}[\ln p(x,z)])}{\int \exp (E_{i̸=j}[\ln p(x,z)])d{z}_j} \end{gathered}$$

若隐变量的拆解或变量子集的分布假设不当，则会导师变分法效率低。

---

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~