EM算法、变分推断(VBEM)、F函数的极大极大算法（EM算法的推广）

1.口述EM算法

• EM算法就是近似极大化似然函数的一种方法。
• 那么一般的MLE存在的问题就是当likelihood-function存在log-sum项时，变得极难求解，这时候就要换一种思路，引入隐变量Z，和Z的某种分布q(Z)。这里先不说q(Z)是什么，买下一个伏笔。
• EM算法的一个巧妙之处在于：似然函数经过变形（除以q(Z)再乘以q(z)），然后利用jenson’s inequality将log-sum项去掉了，这时候我们可以得到一个似然函数的下界
• 什么时候取等号呢？当q(z)=p(z|x,θ)时，会得到似然函数的“紧”下界，这时候我们只要最大化下界就可以了
• 这时候就有了EM算法的核心:就是通过不断求解下界的极大化逼近求解对数似然函数极大化算法。
• 可以证明EM算法是收敛的，收敛包含两个方面：对数似然函数的收敛性和参数θ的收敛性

2.在GMM中找EM的影子

• 假设高斯混合模型的概率密度函数为
  p(x)=“A”
• 那么观测数据的对数似然函数必然含有log-sum项，紧接着，就可以把问题交给EM算法了，可以直接套公式

3.在EM框架中应用变分推断

• 变分推断也叫变分贝叶斯期望最大化算法（Variational Bayes EM）
• EM算法存在一个问题就是Q函数中的后验分布其实是很难求出来的，那怎么办，我们只能近似后验分布，这就引出了变分推断
• 变分推断可采用MCMC采样法，也可以用Mean-Field(平均场理论)
• 所以说变分推断应用在EM算法的E步求期望
• 具体怎么求：E-STEP:固定参数θ，找出最大化期望的q(z),这就是“变分”的来源-求解函数的函数我们简称“憨憨优化问题”
• M-STEP:利用E步求出的q(z)我们最大化参数θ，然后E步和M步不断迭代至收敛即可。

4.F函数的极大极大算法（EM的推广）

• 这个可以参考李航《统计学方法》，他的本质就是考虑到隐变量的后验无法求出
• F函数就是关于q(z)的ELOB(不在是关于后验了，因为后验求不出来)

参考文献

1.参考文献1
2.参考文献2
3.《统计学方法，李航》