EM算法

参考资料：李航《统计学习方法2》；从最大似然到EM算法浅解
阅读本文需要有基本机器学习知识

背景

• 问题：具有隐变量的MLE（极大似然估计）
• 难点：隐变量的出现，导致普通求极值点的方法可能难以求解；如下，可以看到出现和或者积分的log以及未观测到的数据Z
  $$L(\theta )=logP(Y|\theta )=log\sum _{Z}P(Y,Z|\theta )$$
• 解决方法：既然解析解不好求，那么就考虑用迭代的方式求解（$\theta$），如果有个迭代的方向（如爬梯子），能让我们逐步找到更合适的解（${\theta }_i$->${\theta }_{i+1}$可使$L(\theta )$增大），那就持续迭代即可，直到满足终止条件停止（如$L(\theta )$增益很少或者）；

推导

• 以下为公式推导（既然是寻找迭代递增的方向，那就通过做差来列公式；以离散形式举例）
  $$\begin{array}{rl}& L(\theta )-L({\theta }_i)\\ & =log\sum _{Z}P(Y,Z|\theta )-logP(Y|{\theta }_i)\\ & =log\sum _{Z}P(Z|Y,{\theta }_i)\frac{P(Y,Z|\theta )}{P(Z|Y,{\theta }_i)}-logP(Y|{\theta }_i)\\ & \ge \sum _{Z}P(Z|Y,{\theta }_i)log\frac{P(Y,Z|\theta )}{P(Z|Y,{\theta }_i)}-logP(Y|{\theta }_i)（根据jenson不等式）\\ & =\sum _{Z}P(Z|Y,{\theta }_i)log\frac{P(Y,Z|\theta )}{P(Z|Y,{\theta }_i)\ast P(Y|{\theta }_i)}\\ & =B^{\prime }(\theta ,{\theta }_i)\\ & （书上定义B(\theta ,{\theta }_i)=B^{\prime }(\theta ,{\theta }_i)+L({\theta }_i)，显然B为L(\theta )的下界；这里以B^{\prime }推导）\\ & ----------------------\\ & 分析：当\theta ={\theta }_i时，B^{\prime }(\theta ,{\theta }_i)=0，如果能针对该函数寻找关于\theta 的极大值点{\theta }_{i+1}，可使B^{\prime }\ge 0\\ & =>L({\theta }_{i+1})-L({\theta }_i)\ge 0\\ & =>L({\theta }_{i+1})\ge L({\theta }_i)\\ & 由此，令\\ & ----------------------\\ & {\theta }_{i+1}\\ & =\underset{\theta }{\mathrm{argmax}}{B}^{\prime }(\theta ,{\theta }_i)\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{Z}P(Z|Y,{\theta }_i)log\frac{P(Y,Z|\theta )}{P(Z|Y,{\theta }_i)\ast P(Y|{\theta }_i)}\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{Z}P(Z|Y,{\theta }_i)logP(Y,Z|\theta )（去掉与\theta 无关的项）\\ & =\underset{\theta }{\mathrm{argmax}}Q(\theta ,{\theta }_i)\end{array}$$
• $Q函数（蓝色式子）的意义：完全数据(即P(Y,Z|\theta ))的对数似然关于特定时刻(\theta ={\theta }_i)隐变量后验分布(即P(Z|Y,{\theta }_i))的期望；$
• 得到Q函数及计算$\underset{\theta }{\mathrm{argmax}}$为EM算法里完整的一次参数迭代，通过如此反复迭代（对下界的不断提升）逼近MLE；
• 迭代终止条件：${\theta }_{i+1}-{\theta }_i足够小，或者Q提升很少$
• 直观解释：图中B函数为上述红色式子对应的$B(\theta ,{\theta }_i)$（图来自李书）
• 算法其他说明：
• 另一种推导方式（可能比上一种推导方式绕一点）
  • 直接从$L(\theta )$ 入手
    $$\begin{array}{rl}& L(\theta )\\ & =log\sum _{Z}P(Y,Z|\theta )\\ & =log\sum _{Z}Q(Z|Y,\theta )\frac{P(Y,Z|\theta )}{Q(Z|Y,\theta )}\\ & \ge \sum _{Z}Q(Z|Y,\theta )\ast log\frac{P(Y,Z|\theta )}{Q(Z|Y,\theta )}（jensen不等式）\\ & =B^{\prime }(\theta )\\ & --------------------\\ & 分析1：\\ & B^{\prime }(\theta )称为L(\theta )的下界；\\ & 上述不等式等号要成立，要求\\ & \frac{P(Y,Z|\theta )}{Q(Z|Y,\theta )}=C（C为一个常数）\\ & =>P(Y,Z|\theta )=Q(Z|Y,\theta )\ast C\\ & =>\int P(Y,Z|\theta )dZ=P(Y|\theta )=\int Q(Z|Y,\theta )\ast CdZ=C\\ & =>Q(Z|Y,\theta )=P(Y,Z|\theta )/C=P(Y,Z|\theta )/P(Y|\theta )=P(Z|Y,\theta )\\ & 可知，对\forall \theta ，Q(Z|Y,\theta )=P(Z|Y,\theta )时，\\ & B^{\prime }(\theta )=L(\theta )\\ & 即下界等于上界；\\ & --------------------\\ & 分析2：\\ & 上述Q的形式为Q(Z|Y,\theta )，只是为了和第一种推导方法保持一致；\\ & 但其实Q的形式可以是任意关于Z（隐变量）的分布，可能与\theta 无关；\\ & 理解这一点有助于理解为什么可以利用迭代逼近MLE的解；\\ & 所以更一般的，我们把Q的形式写成Q(Z)；\\ & 以下开始说明如何迭代；\\ & --------------------\\ & 假设t时刻，\theta ={\theta }_t，则\\ & B^{\prime }(\theta )=B^{\prime }({\theta }_t)\\ & =\sum _{Z}Q(Z)\ast log\frac{P(Y,Z|{\theta }_t)}{Q(Z)}\\ & \le L({\theta }_t)\\ & 当且仅当Q(Z)=P(Z|Y,{\theta }_t)时，B^{\prime }({\theta }_t)=L({\theta }_t)\\ & 令Q_t(Z)=P(Z|Y,{\theta }_t)\\ & \ast 之所以引入Q_t(Z)，是为了提醒读者应将P(Z|Y,{\theta }_t)视为只关于Z的函数，\\ & \ast 即视{\theta }_t为常数，P(Z|Y,{\theta }_t)只是Q(Z)丰富形式中的一种；\\ & 令B^{\prime }({\theta }_t,Q_t(Z))=L({\theta }_t)\\ & =>B^{\prime }({\theta }_t,Q_t(Z))\\ & =\sum _Z{Q}_t(Z)\ast log\frac{P(Y,Z|{\theta }_t)}{Q_t(Z)}（1）\\ & 式(1)的工作是将下界提升到当前参数点（{\theta }_t）的上界，因有Expectation形式，故称E步\\ & 将B^{\prime }({\theta }_t,Q_t(Z))视为关于{\theta }_t的函数（t不重要，即也可视为关于\theta 的函数），\\ & 则存在{\theta }_{t+1}\\ & =>{\theta }_{t+1}=\underset{{\theta }_t}{\mathrm{argmax}}{B}^{\prime }({\theta }_t,Q_t(Z))（2）\\ & 式(2)的工作是将当前参数点（{\theta }_t）已最优的下界通过寻找新的参数点（{\theta }_{t+1}）进一步提升，因有Max故称M步\\ & \ast 再次提醒Q_t(Z)=P(Z|Y,{\theta }_t)中的{\theta }_t需当做常数对待，不参与上面的argmax；\\ & =>L({\theta }_t)\\ & =B^{\prime }({\theta }_t,Q_t(Z))（其中Q_t(Z)=P(Z|Y,{\theta }_t)）\\ & \le \sum _Z{Q}_t(Z)\ast log\frac{P(Y,Z|{\theta }_{t+1})}{Q_t(Z)}\\ & =B^{\prime }({\theta }_{t+1},Q_t(Z))\\ & \ast \ast 迭代\ast \ast ：如上，通过{\theta }_t=>{\theta }_{t+1}，我们使下界B^{\prime }({\theta }_t)在最优的点B^{\prime }({\theta }_t,Q_t(Z))=L({\theta }_t)上进一步提升了\\ & 但是\\ & B^{\prime }({\theta }_{t+1},Q_t(Z))\\ & \le \sum _Z{Q}_{t+1}(Z)\ast log\frac{P(Y,Z|{\theta }_{t+1})}{Q_{t+1}(Z)}（其中Q_{t+1}(Z)=P(Z|Y,{\theta }_{t+1})）\\ & =B^{\prime }({\theta }_{t+1},Q_{t+1}(Z))\\ & =L({\theta }_{t+1})\\ & 即{\theta }_t=>{\theta }_{t+1}虽然促使下界超过原来参数点{\theta }_t对应的上界L({\theta }_t)，但是遇到了新的参数点{\theta }_{t+1}对应的上界L({\theta }_{t+1})\\ & \ast \ast 迭代\ast \ast ：接下来，重复式子（1）的工作，如此反复迭代寻找最优解\end{array}$$
  • 上述(1)式即为E步，(2)式为M步
  • 直观解释

举例和实现

• 高斯混合模型：完整推导过程较繁琐，可参考《统计学习方法2》CH9-9.3
• 三硬币模型：推导思想类似高斯混合模型，但是简单一点
  • 题目：
  • 解析：
    $$\begin{array}{rl}& 隐变量为A抛掷的结果，记为{\gamma }_{jk}\in [0,1]，其中j、k为整数且j\in [0,n-1]，k\in [0,1]\\ & {\gamma }_{jk}表示第j条观察数据来自第k个硬币（k=1表示B对应A的正面，k=0表示C对应A反面）;\\ & 记参数(\pi ,p,q)=\theta \\ & \text{1◯}E步：明确Q(Y,{\theta }_i,\theta )的具体形式\\ & Q(Y,{\theta }_i,\theta )\\ & =\sum _{\gamma }P(\gamma |Y,{\theta }_i)\ast logP(Y,\gamma |\theta )\\ & =E_{P(\gamma |Y,{\theta }_i)}[logP(Y,\gamma |\theta )]\\ & \\ & logP(Y,\gamma |\theta )\\ & =log\prod _j^{n}P(y_j,r_{j0},r_{j1}|\theta )\\ & =\sum _j^{n}log[P(y_j,r_{j0},r_{j1}|\theta )]\\ & =\sum _j^{n}log[P(y_j|{\gamma }_{j0},{\gamma }_{j1},\theta )\ast P({\gamma }_{j0},{\gamma }_{j1}|\theta )]\\ & =\sum _j^{n}log\{[q^{y_j}(1-q{)}^{1-y_j}(1-\pi ){]}^{{\gamma }_{j0}}\ast [p^{y_j}(1-p{)}^{1-y_j}\pi {]}^{{\gamma }_{j1}}]\}\\ & =\sum _j^n\{{\gamma }_{j0}logA+{\gamma }_{j1}logB\}（\ast ）\\ & =\sum _j^n[y_j{\gamma }_{j0}logq+(1-y_j){\gamma }_{j0}log(1-q)+{\gamma }_{j0}log(1-\pi )+y_j{\gamma }_{j1}logp+(1-y_j){\gamma }_{j1}log(1-p)+{\gamma }_{j1}log\pi ]（\ast \ast ）\\ & 注：（\ast ）式，A=q^{y_j}(1-q{)}^{1-y_j}(1-\pi )，B=p^{y_j}(1-p{)}^{1-y_j}\pi \\ & \\ & Q(Y,{\theta }_i,\theta )\\ & =E_{P(\gamma |Y,{\theta }_i)}[logP(Y,\gamma |\theta )]\\ & =\sum _j^n\{E_{P(\gamma |Y,{\theta }_i)}({\gamma }_{j0})\ast logA+E_{P(\gamma |Y,{\theta }_i)}({\gamma }_{j1})\ast logB\}（1）（根据\ast 式可得）\\ & 而\\ & E_{P(\gamma |Y,{\theta }_i)}({\gamma }_{j1})\\ & =P({\gamma }_{j1}=1|y_j,{\theta }_i)（根据iid性质,只有该项与{\gamma }_{j1}有关）\\ & =\frac{P({\gamma }_{j1}=1,y_j|{\theta }_i)}{P({\gamma }_{j1}=1,y_j|{\theta }_i)+P({\gamma }_{j0}=1,y_j|{\theta }_i)}\\ & =\frac{P(y_j|{\gamma }_{j1}=1,{\theta }_i)\ast P({\gamma }_{j1}=1|{\theta }_i)}{P(y_j|{\gamma }_{j1}=1,{\theta }_i)\ast P({\gamma }_{j1}=1|{\theta }_i)+P(y_j|{\gamma }_{j0}=1,{\theta }_i)\ast P({\gamma }_{j0}=1|{\theta }_i)}\\ & =\frac{p_i^{y_j}(1-p_i{)}^{1-y_j}\ast {\pi }_i}{p_i^{y_j}(1-p_i{)}^{1-y_j}\ast {\pi }_i+q_i^{y_j}(1-q_i{)}^{1-y_j}\ast (1-{\pi }_i)}（2）\\ & 同样\\ & E_{P(\gamma |Y,{\theta }_i)}({\gamma }_{j0})\\ & =\frac{q_i^{y_j}(1-q_i{)}^{1-y_j}\ast (1-{\pi }_i)}{p_i^{y_j}(1-p_i{)}^{1-y_j}\ast {\pi }_i+q_i^{y_j}(1-q_i{)}^{1-y_j}\ast (1-{\pi }_i)}（3）\\ & \\ & 将上述（2）式（3）式带入（1）式，即可得Q(Y,{\theta }_i,\theta )的具体形式\\ & \\ & \text{2◯}M步：对上述Q(Y,{\theta }_i,\theta )的具体形式求\theta （或具体各参数argmax）\\ & 需要求极大值的参数\theta 包括(\pi ,p,q)，可通过求各参数的导数求极大值；\\ & 对\pi ，令\\ & \frac{\partial Q(Y,{\theta }_i,\theta )}{\partial \pi }=0\\ & =>\frac{\partial {\sum }_j^n[E{\gamma }_{j0}\ast log(1-\pi )+E{\gamma }_{j1}\ast log\pi ]}{\partial \pi }（利用\ast \ast 式并取与\pi 有关的项）\\ & =\sum _j^n(E{\gamma }_{j0}\ast \frac{1}{\pi -1}+E{\gamma }_{j1}\ast \frac{1}{\pi })\\ & =0\\ & =>{\pi }_{i+1}=\frac{1}{n}\sum _{j=1}^n{E}_{P(\gamma |Y,{\theta }_i)}({\gamma }_{j1})（注意这里的E_P即（2）式，已知）\\ & 同理，对p，q，令\\ & \{\begin{array}{l}\frac{\partial Q(Y,{\theta }_i,\theta )}{\partial p}=0\\ \frac{\partial Q(Y,{\theta }_i,\theta )}{\partial p}=0\end{array}\\ & =>\{\begin{array}{l}{p}_{i+1}=\frac{{\sum }_j^n{E}_{P(\gamma |Y,{\theta }_i)}({\gamma }_{j1})\ast y_j}{{\sum }_j^n{E}_{P(\gamma |Y,{\theta }_i)}({\gamma }_{j1})}\\ q_{i+1}=\frac{{\sum }_j^n[1-E_{P(\gamma |Y,{\theta }_i)}({\gamma }_{j1})]\ast y_j}{{\sum }_j^n[1-E_{P(\gamma |Y,{\theta }_i)}({\gamma }_{j1})]}\end{array}\\ & 如此，完成了一次参数的迭代，后续重复迭代至收敛即可\\ & \end{array}$$
• HMM（隐马尔可夫）参数估计