EM算法

下面是《统计学习方法》EM算法的笔记。
EM算法是一种针对含有隐变量的模型的参数估计方法，具体来说是极大似然估计和最大后验概率估计。

该算法分为两步，第一步求期望，第二步对期望进行最大化。

首先，我们定义Y是观测变量，Z是隐变量。其中Y又称为不完全数据，Y、Z在一起称为完全数据。

第一步求的是下面这个函数的期望:

Q(θ,θi)=EZ[logP(Y,Z|θ)|Y,θi]=∑zlogP(Y,Z|θ)P(Z|Y,θi)

即求完全数据的对数似然函数关于在给定观测数据Y和当前估计参数 θ(i) 下对未观测数据Z的条件概率分布 p(Z|Y,θ(i)) 的期望。

下面介绍EM算法是怎么来的

对于含有隐变量的概率模型，我们的目标是最大化观测数据的对数似然函数：

L(θ)=logP(Y|θ)=log∑zP(Y,Z|θ)=log∑zP(Y|Z,θ)P(Z,θ)

这个问题极大化的难度在于含有和的对数形式，这样在进行求导时还是包含这个东西。

EM算法的思想是通过迭代的方式来近似地极大化 L(θ) 。

假设第i次迭代后 θ 的估计值为 θi .我们希望新的估计值可以使 L(θ) 增大，即 L(θ)>L(θi) ,并逐步达到最大值。
我们考虑这二者的差

L(θ)−L(θi)=log(∑zP(Y|Z,θ)P(Z|θ))−logP(Y|θi)

利用jensen不等式得到下界。

L(θ)−L(θi)=log(∑zP(Z|Y,θi)P(Y|Z,θ)P(Z|θ)P(Z|Y,θi)−logP(Y|θi))≥∑zP(Z|Y,θi)logP(Y|Z,θ)P(Z|θ)P(Z|Y,θi)−∑zP(Z|Y,θi)logP(Y|θi)=∑P(Z|Y,θi)logP(Y|Z,θ)P(Z|θ)P(Z|Y,θi)P(Y|θi)

令

B(θ,θi)=L(θi)+∑P(Z|Y,θi)logP(Y|Z,θ)P(Z|θ)P(Z|Y,θi)P(Y|θi)

即

L(θ)≥B(θ,θi)

即 B(θ,θi) 是 L(θ) 的一个下界。那么任何可以让 B(θ,θi) 增大的 θ 也同时可以让 L(θ) 增大。所以我们最大化 B(θ,θi) 的话 L(θ) 也会有相当程度的增大，即

θi+1=argmaxB(θ,θi)=argmax(L(θi)+∑P(Z|Y,θi)logP(Y|Z,θ)P(Z|θ)P(Z|Y,θi)P(Y|θi))=argmax(∑P(Z|Y,θi)logP(Y|Z,θ)P(Z|θ))=argmax(Q(θ,θi))

其中第二步是把所有常数项都去掉了。

至此，我们就导出了EM算法的目标函数了。