EM算法详解

目录

1.EM算法详解、及其收敛性

2.EM算法在混合高斯模型学习中的应用 

3.EM—变分推断

---

1.EM算法详解、及其收敛性

参考：

【1】EM算法详解：实例

【2】EM算法原理总结 - 刘建平Pinard - 博客园

【3】维基百科，百度百科

【4】EM算法及其应用

（1）极大似然估计与EM算法适用问题： 

                              

                               

（2）EM算法求解步骤： 

EM算法解决这个的思路是使用启发式的迭代方法：

• 既然我们无法直接求出模型分布参数，那么我们可以先猜想隐含数据（EM算法的E步）；

• 接着基于观察数据和猜测的隐含数据一起来极大化对数似然，求解我们的模型参数（EM算法的M步)。

• 由于我们之前的隐藏数据是猜测的，所以此时得到的模型参数一般还不是我们想要的结果。不过没关系，我们基于当前得到的模型参数，继续猜测隐含数据（EM算法的E步），然后继续极大化对数似然，求解我们的模型参数（EM算法的M步)。以此类推，不断的迭代下去，直到模型分布参数基本无变化，算法收敛，找到合适的模型参数。

                             

如身高例子： 

（1）初始化参数：先初始化男生身高的正态分布的参数：如均值=1.65，方差=0.15

（2）计算每一个人更可能属于男生分布或者女生分布；

（3）通过分为男生的n个人来重新估计男生身高分布的参数（最大似然估计），女生分布也按照相同的方式估计出来，更新分布。

（4）这时候两个分布的概率也变了，然后重复步骤（1）至（3），直到参数不发生变化为止。

2.EM算法在混合高斯模型学习中的应用 

参考：

[1] 简单理解：一维单高斯 多维单高斯 混合多高斯GMM：多维单高斯，即通常所说的二维高斯、三维高斯

[2] 详解EM算法与混合高斯模型

• 单高斯模型

一维高斯分布：数据主要集中高斯分布曲线上

二维高斯分布：数据主要集中在一个椭圆内部；

三维高斯分布：数据集中在一个椭球内部

• 混合高斯模型：通过一定的权重将多个高斯模型融合成一个模型，即最终的混合高斯模型

本质：就是融合几个单高斯模型，来使得模型更加复杂，从而产生更复杂的样本。

理论上：如果某个混合高斯模型融合的高斯模型个数足够多，它们之间的权重设定得足够合理，这个混合模型可以拟合任意分布的样本。

理论上：混合高斯模型的概率密度函数曲线可以是任意形状的非线性函数。

• 直观上理解混合高斯模型
• EM算法与极大似然估计分别适用于什么问题 

3.在EM框架中应用变分推断

EM算法是广泛用过概率模型估计的一种算法，变分推断是使用已知的简单分布来逼近需要推断的复杂分布，并且通过限制近似分布的类型，得到一种局部最优的近似后验分布。因此在变分推断中对于概率模型的参数估计也会用EM算法。

EM算法存在一个问题就是Q函数中的后验分布其实是很难求出来的，那怎么办，我们只能近似后验分布，这就引出了变分推断变分推断可采用MCMC采样法，也可以用Mean-Field(平均场理论)

变分推断也叫变分贝叶斯期望最大化算法（Variational Bayes EM）
变分推断应用在EM算法的E步求期望
具体怎么求：E-STEP:固定参数θ，找出最大化期望的q(z),这就是“变分”的来源-求解函数的函数我们简称“憨憨优化问题”
M-STEP:利用E步求出的q(z)我们最大化参数θ，然后E步和M步不断迭代至收敛即可。
 

参考：

【1】https://blog.csdn.net/weixin_44441131/article/details/104415996

【2】文本主题模型之LDA(三) LDA求解之变分推断EM算法—刘建平Pinard - 博客园