EM 算法——理论篇

在概率模型中，最常用的模型参数估计方法应该就是最大似然法。EM算法本质上也是最大似然，用于含有隐变量（hidden variable）的概率参数模型的最大似然估计或极大后验概率估计。

最大似然函数估计值的一般步骤

• 写出似然函数
• 对似然函数取对数，并整理
• 求导数，令导数为0，得到似然方程
• 解似然方程，得到的参数即为所求

问题

image.png

EM算法的思路：

EM算法首先会固定其中的第一个参数，然后使用 MLE 计算第二个变量值；接着通过固定第二个变量，再使用 MLE 估测第一个变量值，依次迭代，直至收敛到局部最优解。

• E-Step：通过 observed data 和现有模型估计参数估计值 missing data
• M-Step：假设 missing data 已知的情况下，最大化似然函数。

由于算法保证了每次迭代之后，似然函数都会增加，所以函数最终会收敛

EM算法

image.png

学习链接

https://applenob.github.io/em.html