机器学习笔记：EM算法

格式驾驭不了，图片大小不会改，可以直接看我的有道笔记：http://note.youdao.com/noteshare?id=0aaed634b1461f65ab11f7c26da90bbf

EM(Expectation Maximization Algorithm,期望最大化算法)

• 只有输入，没有对应输出。非监督学习；
• 迭代算法
• 含有隐变量的概率模型参数的极大似然估计或极大后验概率估计。
• 每次迭代两步：E步，求期望值；M步，求极大。（又叫极大似然算法）
• 观测数据Y：

• 未观测数据Z（Y\Z为不完全数据，YZ为完全数据）：

• 观测数据似然函数：

即

• 考虑求参数模型θ ( eg:θ=(pi,p,q）)（只有通过迭代求解）：

 

• EM步：

 

• 不完全数据Y对数似然函数：

• 完全数据YZ对数似然函数：

• 步骤：

①模型参数θ

②E步：记θi为第i次迭代参数θ的估计值，在第i+1迭代的E步，计算期望：

这里P(Z|Y,θi)是在给定观测数据Y和当前的参数估计θi下隐变量的条件概率分布。

③M步：求使得Q(θ,θi)极大化的θ，确定第i+1次迭代的参数的估计值θ(i+1)

④重复2和3步，直到收敛；

注意：

收敛性：

• 得到的似然函数序列是递增的
• 得到的参数估计序列的收敛值是L(θ)的稳定点；