EM算法系列--原理

本系列通过如下两部分来讲解EM算法：

1. EM算法的原理

2. EM算法实际应用--HMM

EM算法原理

EM算法全称是 最大期望算法（Expectation-Maximization algorithm, EM），是一类通过迭代进行极大似然估计（Maximum Likelihood Estimation, MLE）的优化算法 ，通常作为牛顿迭代法（Newton-Raphson method）的替代用于对包含隐变量（latent variable）或缺失数据（incomplete-data）的概率模型进行参数估计 [2-3]  。

EM算法的标准计算框架由E步（Expectation-step）和M步（Maximization step）交替组成，算法的收敛性可以确保迭代至少逼近局部极大值 [4]  。EM算法是MM算法（Minorize-Maximization algorithm）的特例之一，有多个改进版本，包括使用了贝叶斯推断的EM算法、EM梯度算法、广义EM算法等 。

给定相互独立的观测数据、隐变量Z、参数的概率模型，根据MLE理论，参数的最优单点估计在模型的似然取极大值时给出：，考虑隐变量（可以表示缺失数据，或概率模型中任何无法直接观测的随机变量），模型的似然有如下展开：，取对数展开得，

，其中为与隐变量有关的概率分布，即隐分布，根据Jensen不等式，可得，

，其中L为函数关于隐变量Z的期望，称为隐期望函数。

何时取等号呢？

，其中KL表示Kullback-Leibler散度（Kullback-Leibler divergence, KL）或相对熵（relative entropy），由KL散度的性质可知，其极小值在两个概率分布相等时取得，

即当时，不等式取等号。

假设已知，则有、

令，则有

，当时，不等式取等号。

所以不断迭代更新，似然概率在不断增大或达到局部最大值，如下图所示。

总结下EM算法的流程：

1. 初始化参数，

2. E-step：构造隐期望函数

3. M-step：最大化隐期望函数

4. 重复2～3，直到似然函数几乎不再增大