统计学习方法笔记9—EM算法1

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。
每次迭代分两部：E步求期望，M步求极大

9.1 EM算法的引入

概率模型既含有观测变量，又含有隐变量或潜在变量。只有观测变量可以使用极大似然估计法，当含有隐变量时就要使用EM法：隐变量的极大似然估计

9.1.1 EM算法

例：三硬币模型

y是观测变量，取值1或0；
z是隐变量，表示A的结果（不可见）
0是模型参数：π，p，q
根据极大似然原理：

求解上面问题，采用迭代方法，即EM算法
1，选取初值：

2，E步

3，M步

注：不同的初值可能得到不同的参数估计
完全数据与不完全数据：

EM算法：


Q函数：

9.1.2 EM算法的推导

极大化观测数据：

EM算法是通过迭代逐步近似极大化似然函数，是不断求解下界的极大化逼近求解对数似然函数极大化。