EM 个人理解

什么时候用EM

对概率模型做parameter estimation 的时候，通常可以用point estimation, MLE, MAP或者bayesian estimation(把parameter看成随机变量).

Typically, 对于MLE或者MAP, 如果碰到了隐变量hidden variable, 求 L(θ) 的时候， p(x,z;θ) 这种联合概率分布比较好求，而 p(x;θ) 不容易求，因为 p(x;θ)=∑zp(x,z;θ) . 如果用通常的方法，对 L(θ) 求 θ 的梯度，很难得到closed form的解，所以要用EM. e.g. z in GMM, 就必须用EM,

• E步算Q
• M步算 新的参数

Note

EM可以看作是J的坐标上升法，E步固定 θ ，优化 Q ，M步固定 Q ,优化 θ

ref：http://www.cnblogs.com/biyeymyhjob/archive/2012/07/21/2603020.html