机器学习：《统计学习方法》笔记（三）—— EM算法

参考：《统计学习方法》——李航；

摘要

介绍了EM算法的推导过程、步骤及在三硬币模型中的应用等内容。

正文

1. 什么地方要用EM算法

EM算法主要用于含有隐含变量的模型参数估计问题。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计或极大后验估计。当概率模型含有隐含变量时，就需要用EM算法来估计参数了。EM算法就是含有隐含变量的概率模型参数的极大似然估计或极大后验估计。

2. EM算法的推导

给定观测数据Y，目标是极大化观测数据（不完全数据）Y关于参数的对数似然函数，即

 表示在模型参数为时，观测数据Y的概率分布。

 

EM算法通过逐步迭代来逐步近似极大化。假设第i次迭代后的估计值为。下一轮的估计值要使。故

利用Jensen不等式得到下界：

令

是

则

是的一个下界。任何可使增大的，都可以使增加。选择能使当前极大的作为新的值。

所以EM算法就是通过迭代不断求Q函数，并将之极大化，直至收敛。下图为EM算法的直观解释，是的一个下界。

图中，在处两个函数的函数值相等，当前迭代中，要找到使极大化。EM算法在点处重新计算Q函数，进行下次迭代。笔者认为这时的图像发生变化，不再是上图。

从图中可以看出，EM算法不能保证全局最优。

3. EM算法的步骤

分为E步和M步，即求Q函数，极大化Q函数。

输入：观测数据Y，隐变量数据Z，联合分布，条件分布；

输出：模型参数。

第一步：选取参数的初始值；（注：模型为）

第二步（E步）：假设第i迭代后，模型代参数为，在第i+1次迭代的E步，计算

是给定观测数据Y和当前的参数估计下隐变量数据Z的条件概率分布；

第三步（M步）：极大化Q函数，求出；

第四步：重复E步，M步直到收敛。

停止迭代的条件： 或。

4. EM算法的收敛性

EM算法的收敛性是指EM算法得到的估计序列是否收敛，主要由两个定理来证明 。

定理一：为观测数据的似然函数，是EM算法得到的参数估计序列，是对应的似然函数序列，则是单调递增的。

定理二：是观测数据的对数似然函数，是EM算法得到的参数估计序列，是对应的对数似然函数序列。如果有上界，则收敛到某一值；在函数与满足一定条件下，EM算法得到的参数估计序列的收敛值是的稳定点。

这里不再展开讨论。

5. 三硬币模型的EM算法

问题：有三枚硬币（ABC）正面向上的概率分别为，p和q。进行如下试验——先掷A，如果A正面向上则掷B，如果A反面向上则掷C。如此独立地重复做n次试验；记录B和C的结果，正面向上记为1，反面向上记为0。观测结果为：1,1,0,0,1,0，...。

若只能观测到结果，不能观测到掷硬币过程，即每一次的观测结果（1或0）由B或C中的哪枚硬币掷出的是未知的。如此情况下估计三枚硬币正面向上的概率，p和q。观测数据表示为，未观测数据表示为。

一次实验得到的概率为

y是观测变量，结果为1或0；

所以三硬币模型可以写作：

故

EM算法先对参数选初始值，再迭代直至收敛；设第i次迭代的估计值为

在第i+1次，E步的计算为，计算数据来自硬币B的概率

M步计算模型参数的新估计值

---

注1：本博客只作笔者笔记用途，仅供参考用，若有侵权行为请留言联系，笔者会在第一时间回复。

注2：码字不易，若转载请注明出处。