EM算法(Expectation-maximization algorithm)小结

EM算法（Expectation-Maximization algorithm）是一类通过迭代进行极大似然估计的优化算法，今天翻出了之前的笔记，在这里也放一下吧。

EM算法背景

EM（expectation-maximization）算法是Dempster,Laird和Rubin(DLR)三个人在1977年正式提出的.主要是用于在不完全数据的情况下计算最大似然估计.在EM算法正式提出以来，人们对EM算法的性质有更加深入的研究.并且在此基础上，提出了很多改进的算法.在数理统计，数据挖掘，机器学习以及模式识别等领域有广泛的应用.

问题背景

给定一些观察数据y，假设y符合如下的高斯分布：
$$p(y)=\sum _{k=1}^K{\theta }_{k}N\left(y\mid {\mu }_k,{\Sigma }_k\right)$$
需要求出混合高斯分布的三组参数：${\theta }_k,{\mu }_k,{\Sigma }_k$
我们注意到，该混合高斯分布一共有K个分布函数，对于每一个观察到的样本y，如果知道它是属于K中的哪个分布，那么求这些参数就会变得很简单。因此我们考虑引入一组新的变量z，用$z_i$来表示这些高斯分布，那么我们的样本集就会变为$\left\{\left(y_1,z_2\right),\left(y_2,z_5\right),\left(y_3,z_1\right),\dots \right\}$

隐变量

上面提到的新的变量z就是隐藏变量，这是由于实际问题中我们往往不知道每个y属于哪个分布，我们观察不到z.我们引入：$Z=\left\{b_1,b_2,\dots ,b_K\right\}$这里的$b_K$取0或1，那么就有：$p\left(z_k=1\right)={\theta }_k$，更进一步我们可以得到：
$$p\left(Z\right)=\prod _{k=1}^K{\theta }_k^{z_k}$$
最终，我们可以得到：
$$\begin{gathered} p\left(y\mid z_k=1\right)=N\left(y\mid {\mu }_k,{\Sigma }_k\right) \\ \Rightarrow p\left(y\mid Z\right)=\prod _{k=1}^{K}N{\left(y\mid u_k,{\Sigma }_k\right)}^{z_k} \end{gathered}$$

EM算法阐释

定义

根据上面的背景，我们可以正式引入EM算法了。
首先引入如下变量
定义两个样本空间X和Y，其中X是完整数据空间，Y是观察数据（即incomplete data），令Z表示添加数据，那么X =(Y,Z)。再令φ表示参数集合，则有：

• $g(y\mid \varphi )$表示观察后验概率密度函数
• $f(x\mid \varphi )$表示添加数据Z后得到的后验密度函数
• $k(x\mid y,\varphi )$表示给定数据φ和观察数据y下x的条件密度函数，根据之前的定义有：
  $$k(x\mid y,\varphi )=f(x\mid \varphi )/g(y\mid \varphi )$$
• 定义似然函数$L(\varphi )=\log (g(y\mid \varphi ))$，根据上面的式子有$L(\varphi )=\log (f(x\mid \varphi ))-\log k(x\mid y,\varphi )$
• 定义Q-function和H-function
  $Q\left({\varphi }^{\prime }\mid \varphi \right)=E(\log \left(f\left(x\mid {\varphi }^{\prime }\right)\mid y,\varphi \right)$
  $H\left({\varphi }^{\prime }\mid \varphi \right)=E\left(\log \left(k\left(x\mid y,{\varphi }^{\prime }\right)\right)\mid y,\varphi \right)$
  则显而易见$Q\left({\varphi }^{\prime }\mid \varphi \right)=L\left({\varphi }^{\prime }\right)+H\left({\varphi }^{\prime }\mid \varphi \right)$

算法流程

我们的目的是计算$g(y\mid \varphi )$的众数，记${\varphi }^i$为第i+1次迭代开始时参数的估计值，则第i+1次迭代的两步为:

• E-step:$Q\left(\varphi \mid {\varphi }^i\right)=E\left(\log (f(x\mid \varphi ))\mid y,{\varphi }^i\right)$
• M-step:${\varphi }^{i+1}=\arg \max \left(Q\left(\varphi \mid {\varphi }^i\right)\right)$
• repeat until $\Vert Q\left({\varphi }^{i+1}\mid {\varphi }^i\right)-Q\left({\varphi }^i\mid {\varphi }^i\right)\Vert$充分小

算例

如果我们引入贝叶斯公式的话，通过上面的式子可以获得：
$$p(Z\mid Y,\mu ,\Sigma ,\pi )\propto \prod _{n=1}^N\prod _{k=1}^K{\left[{\pi }_{k}N\left(y_n\mid {\mu }_k,{\Sigma }_k\right)\right]}^{z_{nk}}$$
这里的N表示观察样本数，而$z_{nk}$是未知的，需要求出它的期望：
$$\begin{array}{l}E\left(z_{nk}\mid y_n\right)={\sum }_{z_{nk}}{z}_{nk}\cdot p\left(z_{nk}\mid y_n\right)\\ ={\sum }_{z_{nk}}{z}_{nk}\cdot \frac{p\left(z_{nk}\right)p\left(y_n\mid z_{nk}\right)}{p\left(y_n\right)}\\ =\frac{1\cdot p\left(z_{nk}=1\right)p\left(y_n\mid z_{nk}=1\right)+0\cdot p\left(z_{nk}=0\right)p\left(y_n\mid z_{nk}=0\right)}{p\left(y_n\right)}\\ =\frac{p\left(z_{nk}=1\right)p\left(y_n\mid z_{nk}=1\right)}{p\left(y_n\right)}\\ =\frac{{\pi }_k\cdot N\left(y_n\mid {\mu }_k,{\Sigma }_k\right)}{{\sum }_j{\pi }_j\cdot N\left(y_n\mid {\mu }_j,{\Sigma }_j\right)}\\ =\gamma \left(z_{nk}\right)\end{array}$$
将$E\left(Z_{nk}\right)$代入$\ln p(Y,Z\mid \mu ,\Sigma ,\pi )$：
$$\begin{array}{l}Q=E(\ln p(Y,Z)\mid \mu ,\Sigma ,\pi )\\ ={\sum }_{n=1}^N{\sum }_{k=1}^K\gamma \left(z_{zk}\right)\left\{\ln {\pi }_k+\ln N\left(x_n\mid {\mu }_k,{\Sigma }_k\right)\right\}\end{array}$$
然后只需要将期望最大化就好了，具体略，大体的流程如下图：

算法解释

（1）如果缺失数据是已知的，就可以利用已知的完全数据处理技术对模型的未知参数进行估计.
（2）如果模型的参数已知，根据模型我们可以推导出缺失数据的值.
（3）核心是下界最大化，E-step构造后验分布的局部下界，M-step优化这个下界.
（4）算法的缺点是，收敛速度慢，算法高度依赖初始值的选择。

总结

从推导中可以看出，由于引入了隐变量，所以EM可以处理相对广泛的问题，尤其是一些缺失和值插补的问题。EM算法在一般情况是收敛的，但是不保证收敛到全局最优，即有可能进入局部的最优。EM算法在混合高斯模型，隐马尔科夫模型中都有应用，是著名的数据挖掘十大算法之一。