ML15-EM算法

EM算法-希望最大化算法

算法概述

ML15-EM算法_第1张图片
ML15-EM算法_第2张图片
ML15-EM算法_第3张图片
要进行总体对待,要将抽取得100名学生看作总体。
ML15-EM算法_第4张图片

隐变量问题

对于一个样本,并不知道他的类别(男女)
ML15-EM算法_第5张图片
ML15-EM算法_第6张图片

EM算法求解实例

对于两个硬币A,B,分别求他们的分布,即朝上(下)的几率。
第三步结束后会更新第一步得A,B的初始期望值。后面第二步求出的值也会发生变化。一直到做到某一步后,期望波动很小了,就结束了。
ML15-EM算法_第7张图片

EM算法推导(Jensen不等式)

ML15-EM算法_第8张图片
ML15-EM算法_第9张图片
ML15-EM算法_第10张图片
Σ(概率*值)=期望
ML15-EM算法_第11张图片
将第二行式子最后当作一个下界。只要右边式子大了,那么左边式子也会大。
ML15-EM算法_第12张图片
ML15-EM算法_第13张图片
ML15-EM算法_第14张图片
ML15-EM算法_第15张图片
ML15-EM算法_第16张图片
ML15-EM算法_第17张图片

你可能感兴趣的:(机器学习,算法,机器学习,人工智能)