EM算法：Expectation-Maximization

目标：找出有隐形变量的概率模型的最大可能性解。

它分为两个过程：E-step和M-step

1.E-step：通过最初假设或上一步得出的模型参数得到后验概率；

2.M-step：重新算出模型的参数。

重复这两个过程直到目标函数值收敛。

 

EM算法即期望值最大算法，被誉为是数据挖掘的十大算法之一，它是在概率模型中寻找参数最大似然估计的算法。其中概率模型依赖于无法观测到的隐变量。最大期望算法经过两个步骤交替进行计算，第一步是计算期望E，也就是将隐藏变量像能够观测到的一样包含在内，从而计算最大似然的期望值。另外一步是最大化M，也就是最大化在E步上找到的最大似然的期望值，从而计算参数的最大似然估计。

M步上找到的参数然后用于另外一个E步计算，这个过程不断交替计算。对于信息确实的数据来说，EM算法是一种极有效的工具。