ＥＭ（最大期望）算法

在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（LatentVariable）。最大期望经常用在机器学习和计算机视觉的数据聚类（DataClustering）领域。最大期望算法经过两个步骤交替进行计算，第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化（M），最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行。

EM是一个在已知部分相关变量的情况下，估计未知变量的迭代技术。EM的算法流程如下：

1. 初始化分布参数

2. 重复直到收敛：

   1. E步骤：用分布参数计算每个实例的聚类概率。（即每个实例属于不同聚类的概率）

   2. M步骤：重新估计分布参数(如五个参数：二个均值，二个方差，一个类的先验概率)，以使得数据的似然性最大