理解EM算法

0 简述

EM算法应对的问题
随机变量X={Y,Z}中Y为观测变量，存在一部分不能直接观测的变量Z，因此不能直接使用最大似然方法估计参数。
EM基本思路
<1>[Expectation] 直接假设分布参数的初始值，求隐变量Z期望,从而"补全"不完全观测数据，相当于得到了完全变量X的观测样本。
<2>[Maximization] 利用最大似然估计更新假设参数，并迭代<1>，直到参数的变化收敛到设定值。

1 最大似然估计

最大似然估计的前提是所有随机变量X均是可观测的。但是现实中一些情况下只有部分变量Y可观测，而存在隐变量Z不可观测。
即最大化观测数据对应的似然函数
$$L(\theta )=logP(Y|\theta )=log\sum _{Z}P(Y,Z|\theta )=log\sum _{Z}P(Y|Z,\theta )P(Z|\theta )$$
由于该式子中存在未观测数据，并且存在和的对数，因此难以直接通过解析解求极值。需要寻找数值迭代的方法逐步逼近极值。

参考
https://wenku.baidu.com/view/ff588b5af01dc281e53af088.html