《统计学习方法》读书笔记——第九章 EM算法及其推广

写在前面

本系列博客是自己对于《统计学习方法》这本书的读书笔记,在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。


目录

写在前面

本章框架

EM算法

EM算法在高斯混合模型中的应用

EM算法的推广

补充知识点

高斯混合模型


本章框架

EM算法

在进行概率模型的参数估计时,如果变量全是可以直接观测的,就可以直接用极大似然估计或贝叶斯估计;如果模型中含有隐变量,此时可以用EM算法来进行估计。EM算法就是含有隐变量的概率模型参数的极大似然估计。

EM算法通过迭代来进行参数估计,每次迭代分为E和M两步:

  • E步——求期望(计算Q函数)

《统计学习方法》读书笔记——第九章 EM算法及其推广_第1张图片

  • M步——求极大

求令Q函数极大的\theta值并对其进行参数更新。

EM算法的收敛性:

每次迭代后会提高观测数据的似然函数值,是收敛的,但不能保证收敛到全局最优。

EM算法在高斯混合模型中的应用

EM算法的推广

EM算法可解释为F函数的极大-极大算法。

推广:广义期望极大算法(GEM)


补充知识点

高斯混合模型

高斯混合模型(GMM):高斯混合模型是指具有如下形式的概率分布模型:

其中,称为第k个分模型.

 

你可能感兴趣的:(读书笔记,统计学习方法-李航)