期望最大化算法(EM算法)

EM算法适用于:当拥有缺失数据的时候,可以迭代的做参数估计

即EM算法是 含有隐变量或潜在变量的概率模型参数的极大似然估计法。

分为两步:E步,用当前的参数计算一个数据点标签的分布;

                  M步,用当前标签分布的猜测去升级参数;

应用场景1:看一组数据是由多少个高斯混合模型组成

下面是李航博士的《统计学习方法》书中所推导的EM算法过程。 

 

推导过程:期望最大化算法(EM算法)_第1张图片

期望最大化算法(EM算法)_第2张图片

期望最大化算法(EM算法)_第3张图片

期望最大化算法(EM算法)_第4张图片

你可能感兴趣的:(算法,机器学习)