AI-统计学习(17)-EM算法

    EM算法是什么的?真实应用中,很多情况都是不完全数据,或者缺失数据,但我们还是想知道它的概率分布。正常情况下,我们用最大似然估计或者贝叶斯进行概率预测,实现监督学习,而这算法就是针对非监督的概率分布预测的。初始值不同时会存在局部最优的情况。

 

1.用于什么场景?不完全数据,缺失数据的情况下。

2.E是什么?期望,隐变量的期望。

3.M是什么?MAX最大化。

4.流程是什么?收敛条件


  1. 用于什么场景?不完全数据,缺失数据的情况下。

1.1完全数据(Z,Y)有观测值,有概率值

1.2不完全数据(,y)只有观测值,概率值有可能有有可能没有

AI-统计学习(17)-EM算法_第1张图片

  1. E是什么?

期望,隐变量的期望。

AI-统计学习(17)-EM算法_第2张图片

  1. M是什么?MAX最大化。

AI-统计学习(17)-EM算法_第3张图片

  1. 收敛条件:

AI-统计学习(17)-EM算法_第4张图片

总结:1.极大化 观测数据的极大似然函数变为

        。。。   完全数据。。。。。。。。。。

       观测数据=(完全数据+隐变量)

给定条件下,期望值代替每一个Zi  这就是E

AI-统计学习(17)-EM算法_第5张图片

2.输入,输出。

AI-统计学习(17)-EM算法_第6张图片

4.流程是什么?

AI-统计学习(17)-EM算法_第7张图片

 

你可能感兴趣的:(AI基础算法)