EM算法通俗理解及数学推导

推荐链接：https://blog.csdn.net/ali197294332/article/details/51398963

1、EM，exception maximum.
算法针对非监督学习中，只有数据集X、不知道每个样本属于什么参数θ（均值μ、方差∑）的高斯分布、不知道数据的类别标签，EM将各“类别”的高斯分布参数θ作为未知，最大化获得该组样本的概率，以求取每一类别的高斯分布参数。假设每个样本独立分布，获取该样本的概率为p(xi|θ)
则获取该组样本的概率为： Πp(xi|θ)
通过最大似然，得到目标函数为 L(θ)=∑logp(xi;θ)。
但是有时候最大似然，求导后发现依然求不出来，则可以使用EM算法求取参数。

2、大概公式：

可以用于混合高斯模型（MoD）、贝叶斯、和因子分析的最大似然求解。
3、另一种解释：可看作坐标上升法，即（1）通过初始θ，求取Q（z），（2）固定Q（使），求取等式成立的θ值（3）跟新θ，重新求取Q（z）。直至收敛。图示：