EM算法及相关概念

EM算法，看见很多次，也知道这个DD 一直存在，一直很受追捧和欢迎，但是究竟好在哪里，只能仁者见仁，智者见智。

EM算法是用来为含有隐藏变量的概率模型寻找最大似然估计解的方法，以期许获得其后验概率，进而进行后续动作（对观察值分类或抽样进行分析，etc）。当然，EM在变分中也有应用，本人还未涉及到。

GMM 中的EM应用步骤

给定一个混合高斯模型，我们的目标就是根据参数寻找最大的似然函数。这里的参数包括 均值，方差以及混合系数（mixing coefficient）

1.初始化均值 mu_k,方差sigma_k，及混合系数pi_k.并把函数转换为对数似然函数；

2.E-step.将初始化的参数值代入到后验函数中，对函数进行更新.即p(z/x)=p(z)p(x/z)/intelp(z)p(x/z)dz;

3.M-step.分别对每个参数（假设另2个参数已知）微分求其最大值;

4.将求得的参数最大值代入对数似然函数并判断是否每个参数达到最大，若否，则回到第二步重新开始迭代直到最大。

EM算法就是一个对数据不断迭代，直至找到最大值和最大函数时收敛。

这个算法在非参数贝叶斯学习中，特别是取样过程中用的非常普遍。