EM算法详解

目录

1.EM算法详解、及其收敛性

2.EM算法在混合高斯模型学习中的应用 

3.EM—变分推断


1.EM算法详解、及其收敛性

参考:

【1】EM算法详解:实例

【2】EM算法原理总结 - 刘建平Pinard - 博客园

【3】维基百科,百度百科

【4】EM算法及其应用

(1)极大似然估计与EM算法适用问题: 

                              

                               

(2)EM算法求解步骤: 

EM算法解决这个的思路是使用启发式的迭代方法:

  • 既然我们无法直接求出模型分布参数,那么我们可以先猜想隐含数据(EM算法的E步);

  • 接着基于观察数据和猜测的隐含数据一起来极大化对数似然,求解我们的模型参数(EM算法的M步)。

  • 由于我们之前的隐藏数据是猜测的,所以此时得到的模型参数一般还不是我们想要的结果。不过没关系,我们基于当前得到的模型参数,继续猜测隐含数据(EM算法的E步),然后继续极大化对数似然,求解我们的模型参数(EM算法的M步)。以此类推,不断的迭代下去,直到模型分布参数基本无变化,算法收敛,找到合适的模型参数。

                            EM算法详解_第1张图片 

如身高例子: 

(1)初始化参数:先初始化男生身高的正态分布的参数:如均值=1.65,方差=0.15

(2)计算每一个人更可能属于男生分布或者女生分布;

(3)通过分为男生的n个人来重新估计男生身高分布的参数(最大似然估计),女生分布也按照相同的方式估计出来,更新分布。

(4)这时候两个分布的概率也变了,然后重复步骤(1)至(3),直到参数不发生变化为止。

2.EM算法在混合高斯模型学习中的应用 

参考:

[1] 简单理解:一维单高斯 多维单高斯 混合多高斯GMM:多维单高斯,即通常所说的二维高斯、三维高斯

[2] 详解EM算法与混合高斯模型

  • 单高斯模型

一维高斯分布:数据主要集中高斯分布曲线上

二维高斯分布:数据主要集中在一个椭圆内部;

三维高斯分布:数据集中在一个椭球内部

  • 混合高斯模型:通过一定的权重将多个高斯模型融合成一个模型,即最终的混合高斯模型

本质:就是融合几个单高斯模型,来使得模型更加复杂,从而产生更复杂的样本。

理论上:如果某个混合高斯模型融合的高斯模型个数足够多,它们之间的权重设定得足够合理,这个混合模型可以拟合任意分布的样本。

理论上:混合高斯模型的概率密度函数曲线可以是任意形状的非线性函数。

  • 直观上理解混合高斯模型
  • EM算法与极大似然估计分别适用于什么问题 

3.在EM框架中应用变分推断

EM算法是广泛用过概率模型估计的一种算法,变分推断使用已知的简单分布来逼近需要推断的复杂分布,并且通过限制近似分布的类型,得到一种局部最优的近似后验分布。因此在变分推断中对于概率模型的参数估计也会用EM算法。

EM算法存在一个问题就是Q函数中的后验分布其实是很难求出来的,那怎么办,我们只能近似后验分布,这就引出了变分推断变分推断可采用MCMC采样法,也可以用Mean-Field(平均场理论)

变分推断也叫变分贝叶斯期望最大化算法(Variational Bayes EM)
变分推断应用在EM算法的E步求期望
具体怎么求:E-STEP:固定参数θ,找出最大化期望的q(z),这就是“变分”的来源-求解函数的函数我们简称“憨憨优化问题”
M-STEP:利用E步求出的q(z)我们最大化参数θ,然后E步和M步不断迭代至收敛即可。
 

参考:

【1】https://blog.csdn.net/weixin_44441131/article/details/104415996

【2】文本主题模型之LDA(三) LDA求解之变分推断EM算法—刘建平Pinard - 博客园

你可能感兴趣的:(自然语言处理,机器学习)