补充：理解EM算法

EM算法是频率学派的武功，是极大似然法估计的升级版。是带有隐变量的极大似然估计。
典型的应用：GMM、pLSA

正文

算法分成两步：E步和M步

Paste_Image.png

E步：
根据参数初始值或上一次迭代的模型参数来计算出隐性变量的后验概率（分布），其实就是隐性变量的期望。作为隐藏变量的现估计值：

M步：
把似然函数最大化获得新的参数值。

EM算法的难点在于公式的数学推导，尤其是M步。
普世的EM算法，我们只能推导到E步，得到隐变量的后验概率。
而M步，也就是极大似然公式的建立和推导，是需要结合具体的问题的。比如pLSA就带着一个剧复杂的M步推导。

E步推导

Paste_Image.png

Paste_Image.png

M步

似然函数极大

Paste_Image.png

Jensen不等式镇楼

Paste_Image.png

Paste_Image.png

扩展

Paste_Image.png