机器学习—EM算法—期望极大算法(Expectation Maximization)

一、EM算法简介

1、 EM算法就是含有隐变量的概率模型参数的极大似然估计法，是一种迭代算法。 EM算法解决这个的思路是使用启发式的迭代方法，既然我们无法直接求出模型分布参数，那么我们可以先猜想隐含数据（EM算法的E步），接着基于观察数据和猜测的隐含数据一起来极大化对数似然，求解我们的模型参数（EM算法的M步)。

由于我们之前的隐藏数据是猜测的，所以此时得到的模型参数一般还不是我们想要的结果。不过没关系，我们基于当前得到的模型参数，继续猜测隐含数据（EM算法的E步），然后继续极大化对数似然，求解我们的模型参数（EM算法的M步)。以此类推，不断的迭代下去，直到模型分布参数基本无变化，算法收敛，找到合适的模型参数。

2、 EM算法在每一次迭代时分为两步，E步和M步。

一轮轮迭代更新隐含数据和模型分布参数，直到收敛，即得到我们需要的模型参数。

二、EM算法步骤

三、EM简单理解

如果从算法思想的角度来思考EM算法，我们可以发现我们的算法里已知的是观察数据，未知的是隐含数据和模型参数，在E步，我们所做的事情是固定模型参数的值，优化隐含数据的分布，而在M步，我们所做的事情是固定隐含数据分布，优化模型参数的值。

https://www.cnblogs.com/pinard/p/6912636.html