小象ML——8.EM算法

EM算法

• EM算法：含有隐变量的概率模型参数的极大似然估计法或极大后验概率估计法
• 隐变量：即未观测变量
• 变量定义
  • 观测随机变量/不完全数据(不是类标记)：Y
  • 隐随机变量：Z
  • 完全数据：Y+Z
• 给定不完全数据Y，其对数似然函数$L(\theta )=logP(Y|\theta )$
• 隐变量Z可看作中间结果，决定$\theta$，而Y决定Z和$\theta$
• 假设Y和Z的联合概率分布是$P(Y,Z|\theta )$，则完全数据的对数似然函数是$logP(Y,Z|\theta )$
• EM算法的目标是通过迭代求$L(\theta )=logP(Y,Z|\theta )$的极大似然估计
• 算法内容
  • 输入：观测变量Y，隐变量Z，联合分布$P(Y,Z|\theta )$，条件分布$P(Z|Y,\theta )$
  • 输出：模型参数$\theta$
  • （1）选择参数的初值${\theta }^{(0)}$
  • 迭代直至收敛：
    • （2） E步，求期望。记${\theta }^{(i)}$i为第i次迭代参数$\theta$的估计值。在第i+1次迭代中计算Q函数：$$Q(\theta ,{\theta }^{(i)})=E_Z[logP(Y,Z|\theta )|Y,{\theta }^{(i)}]=\sum _{Z}logP(Y,Z|\theta )P(Z|Y,\theta )$$
    • M步：通过极大化Q函数，求i+1代参数的估计值：$${\theta }^{(i+1)}=\underset{\theta }{\mathrm{argmax}}Q(\theta ,{\theta }^{(i)})$$
• 算法说明：
  • 简单性、 普适性
  • 参数初值可任意选择，但要注意算法对初值敏感
  • 停止条件
    • 对较小的整数${\epsilon }_1,{\epsilon }_2$，满足$||{\theta }^{(i+1)}-{\theta }^{(i)}||<{\epsilon }_1$或$||Q({\theta }^{(i+1)},{\theta }^{(i)})-Q({\theta }^{(i)},{\theta }^{(i)})||<{\epsilon }_2$
  • 不能保证找到全局最优值，但能收敛到局部最优值
• 模型选择的准则
  • L为模型似然函数值，k为模型参数个数，n为样本个数
  • $AIC=-2lnL+2k$
  • $BIC=-2lnL+(lnn)k$