EM算法

1. EM介绍

EM(Expectation Maximization Algorithm, EM)是Dempster等人于1977年提出的一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计(MLE)，或极大后验概率估计(MAP)。

2. EM算法描述

输入

：观测变量数据

：隐变量数据

：联合分布

：条件分布，后验概率
输出

：模型参数
迭代过程
- 初始化参数
- 步：记是第次迭代参数的估计值，则第次迭代的步：求对数联合概率在后验上的期望：
- 步：求步的参数估计值：
- 重复步和步，直到收敛：

3. EM公式导出之ELBO+KL Divergence

MLE的做法是最大化似然函数：

上面的式子中有隐变量并且是形式，不好直接计算。

EM的做法是求出似然函数的下界，不断迭代，使得下界不断逼近.

$\begin{eqnarray*} \mathcal{L}{(\theta)} &=& \text{log}P(X|\theta) \tag{1}\\ &=& \text{log}P(X,Z|\theta) - \text{log}P{(Z|X,\theta)} \tag{2}\\ &=& \text{log}\frac{P(X,Z|\theta)}{q(Z)} - \text{log}\frac{P{(Z|X,\theta)}}{q(Z)} \tag{3} \end{eqnarray*}$
等式两边同时对求期望：

$\begin{eqnarray} \text{right} &=& \int_{Z}q(Z)\text{log}\frac{P(X,Z|\theta)}{q(Z)}\text{d}Z - \int_{Z}q(Z)\text{log}\frac{P{(Z|X,\theta)}}{q(Z)}\text{d}Z \\ &=& \int_{Z}q(Z)\text{log}P(X,Z|\theta)\text{d}Z -\int_{Z}q(Z)\text{log}q(Z)\text{d}Z- \int_{Z}q(Z)\text{log}\frac{P{(Z|X,\theta)}}{q(Z)}\text{d}Z \\ &=& \underbrace { \int_{Z}q(Z)\text{log}P(X,Z|\theta)\text{d}Z -\int_{Z}q(Z)\text{log}q(Z)\text{d}Z }_{ ELBO } + KL\left(q(Z)||P(Z|X,\theta)\right) \end{eqnarray}$

所以：

上式中，是一个下界，所以，当散度为0时，等式成立。

也就是说，不断最大化等价于最大化似然函数。在EM迭代过程中的第步，假设，然后最大化
$\begin{eqnarray} \hat{\theta}^{(i+1)} &=& \underset{\theta}{\text{argmax}}ELBO \\ &=& \underset{\theta}{\text{argmax}} \int_{Z}q(Z|X,\theta^{(i)})\text{log}P(X,Z|\theta)\text{d}Z -\underbrace{\int_{Z}q(Z|X,\theta^{(i)})\text{log}q(Z|X,\theta^{(i)})\text{d}Z}_{\text{independent with } \theta} \\ &=& \color{red}{\underset{\theta}{\text{argmax}} \int_{Z}q(Z|X,\theta^{(i)})\text{log}P(X,Z|\theta)\text{d}Z} \tag{5} \end{eqnarray}$

4. EM公式导出之ELBO+Jensen Inequality

4.1 Jensen Inequality

4.2 EM公式推导

对log-likelihood做如下变换：
$\begin{eqnarray*} \text{log}P(X|\theta) &=& \text{log}\int_{Z}P(X,Z|\theta)\text{d}Z = \text{log}\int_{Z} q(Z) \frac{P(X,Z|\theta)}{q(Z)}\text{d}Z \\ &=& \text{log}\mathbb{E}_{q(Z)}\left(\frac{P(X,Z|\theta)}{q(Z)} \right) \\ &\geq& \mathbb{E}_{q(Z)} \left[\text{log}\frac{P(X,Z|\theta)}{q(Z)} \right] \\ &=& ELBO \end{eqnarray*}$
只有当时，等号才成立。

5. EM收敛性证明

如果能证明

则说明EM是收敛的，因为肯定有界，单调有界函数必收敛！

$\begin{eqnarray*} \text{log}P(X|\theta) &=& \text{log}P(X,Z|\theta) - \text{log}P{(Z|X,\theta)} \\ &=& \underbrace{\int_{Z}p(Z|X,\theta^{(i)}) \text{log}P(X,Z|\theta) \text{d}Z}_{Q(\theta,\theta^{(i)})} - \underbrace{\int_{Z}p(Z|X,\theta^{(i)}) \text{log}P{(Z|X,\theta)}\text{d}Z}_{H(\theta,\theta^{(i)})} \end{eqnarray*}$
由于使得达到极大，所以：

$\begin{eqnarray*} H(\theta^{(i+1)},\theta^{(i)}) - H(\theta^{(i)},\theta^{(i)}) &=& \int_{Z}p(Z|X,\theta^{(i)}) \text{log}P{(Z|X,\theta^{(i+1)})}\text{d}Z - \int_{Z}p(Z|X,\theta^{(i)}) \text{log}P{(Z|X,\theta^{(i)})}\text{d}Z \\ &=& \int_{Z}p(Z|X,\theta^{(i)}) \frac{\text{log}P{(Z|X,\theta^{(i+1)})}}{\text{log}P{(Z|X,\theta^{(i)})}}\text{d}Z \\ &=& -KL\left(p(Z|X,\theta^{(i)}) || \text{log}P{(Z|X,\theta^{(i+1)})} \right) \\ &\leq& 0 \end{eqnarray*}$

因此，得到：