EM 算法理解

EM 算法是一种迭代算法，1977 年由 Dempster 等人总结提出，用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。EM 算法的每次迭代由两步组成：E 步，求期望（expectation）；M 步，求极大（maximization）。所以这一算法称为期望极大算法（expectation maximization algorithm），简称 EM 算法。

EM 算法的引入

概率模型有时既含有观测变量（observable variable），又含有隐变量或潜在变量（latent variable），例如隐马尔可夫模型、潜在狄利克雷分布（LDA）等等。一般地，用 X 表示观测变量的数据，Z 表示隐变量的数据，X 和 Z 连在一起称为完全数据，观测数据 X 又称为不完全数据。

【疑问】：什么是观测变量？什么是隐变量？

【回答】：观测变量是指可以直接观测或度量的变量，而隐变量是指不可以直接观测，但能通过观测到的其他变量进行推断的变量。

对于概率模型，我们可以通过判断变量的类型（观测变量还是隐变量）来决定采用的学习策略。

• 如果概率模型的变量都是观测变量，在给定数据的情况下，可以直接用极大似然估计法，或贝叶斯估计法估计模型参数。
• 如果概率模型的变量中存在隐变量，则使用 EM 算法。

【疑问】：为什么概率模型中存在隐变量就不能直接使用极大似然估计法和贝叶斯估计法？

【回答】：我们用一个简单的小例子来说明这个问题。

假设现在有 2 个装有不确定数量黑球、黑球的盒子，随机从盒子中抽取一个白球的概率分布为 p1 和 p2。为了估计这两个概率，每轮选择一个盒子，有放回地连续随机抽取 5 个球，记录如下：

盒子编号	1	2	3	4	5	统计
1	白	白	黑	白	黑	3白-2黑
2	黑	黑	白	白	黑	2白-3黑
1	白	黑	黑	黑	黑	1白-4黑
2	白	黑	白	黑	白	3白-2黑
1	黑	白	黑	白	黑	2白-3黑

令观测到的球的颜色为 X，球所属的盒子为 Z，实际上 p1 = P(X=白|Z=1)，p2 = P(X=白|Z=2)。此时，我们可以使用极大似然估计法来求得概率 p1 和 p2。
$$\begin{gathered} L(p)=\sum _{i=1}^{n}lnP(x_i|z_i) \\ P(X=\text{白}|Z=1)=p_{1}P(X=\text{黑}|Z=1)=1-p_1 \\ P(X=\text{白}|Z=2)=p_{2}P(X=\text{黑}|Z=2)=1-p_2 \end{gathered}$$

盒子 1 中抽出 6 个白球和 9 个黑球，盒子 2 中抽取 5 个白球和 5 个黑球。
$$\begin{gathered} L(p_1)=ln(p_1^6(1-p_1{)}^9)=6ln{p}_1+9ln(1-p_1) \\ L(p_2)=ln(p_2^5(1-p_2{)}^5)=5ln{p}_2+5ln(1-p_2) \\ \frac{\partial L(p_1)}{\partial p_1}=\frac{6}{p_1}-\frac{9}{1-p_1}=0\to p_1=0.4 \\ \frac{\partial L(p_2)}{\partial p_2}=\frac{5}{p_2}-\frac{5}{1-p_2}=0\to p_2=0.5 \end{gathered}$$

通过极大似然估计法求得 p1 = 0.4，p2 = 0.5。

如果此时，盒子那一列数据丢失，还能继续使用极大似然估计法吗？

盒子编号	1	2	3	4	5	统计
?	白	白	黑	白	黑	3白-2黑
?	黑	黑	白	白	黑	2白-3黑
?	白	黑	黑	黑	黑	1白-4黑
?	白	黑	白	黑	白	3白-2黑
?	黑	白	黑	白	黑	2白-3黑

很显然答案是不能。在盒子数据存在的前提下，相当于已知 P(X,Z) 以及 P(Z)，我们可通过公式 P(X|Z)P(Z) = P(X,Z) 来求解 P(X|Z)。然而，现在变量 Z 不可观测，那么就无法使用公式 P(Z|X)P(X) = P(X,Z) 来求解 P(Z|X)。从例子中也可以明显地看出，不知道白球所取出的盒子编号，我们就无法得知公式 $ln(p_1^a(1-p_1{)}^b)$ 中 a 和 b 的值。

更一般地，令 X 表示已观测变量集，Z 表示隐变量集，$\theta$ 表示模型参数。若对 $\theta$ 做极大似然估计，则应最大化似然。
$$\begin{gathered} l(\theta )=\prod _{i=1}^{n}P(X,Z;\theta ) \\ L(\theta )=lnl(\theta )=\sum _{i=1}^{n}lnP(X,Z;\theta ) \end{gathered}$$
由于存在隐变量 Z，无法直接求解 X 和 Z 的联合概率，那么就无法使用极大似然估计法。此时，就需要本篇博客的主角，EM 算法登场了。

EM 算法

EM 算法是从含有隐变量的数据（完全数据）中计算极大似然估计的一种方法。从先前的盒子取球案例中，我们主要遇到的问题是存在两个未知变量，即 Z 和参数 $\theta$，只要能够得到其中之一，我们就能够计算另外一个。例如，在知道 Z（盒子）的情况下，我们就能够通过极大似然估计法求得参数 $\theta$；同理，知道参数 $\theta$ 就能够求得隐变量 Z。

参数 $\theta$ ——> 隐变量 Z ——> 参数 $\theta$ ——> … ——> 隐变量 Z。

禁止套娃！上述过程揭示了 EM 算法的操作过程，对于多个未知量，先固定一部分求解另一部分。以理论和实践为例，我们学习理论知识，然后基于理论去指导实践，在实践的过程中发现理论有误或者不够精确，从而修改和扩展理论。在新的理论指导下再次参与实践，从实践中得到的真理进一步扩充理论，一个螺旋递增的过程。EM 算法也如此，我们可以先固定参数 $\theta$，然后去求得隐变量 Z，接着根据求得的隐变量 Z 去优化参数 $\theta$。

盒子未知的白球黑球

按照这个思路我们去尝试求解在盒子未知情况下的 p1 和 p2。

盒子编号	1	2	3	4	5	统计
?	白	白	黑	白	黑	3白-2黑
?	黑	黑	白	白	黑	2白-3黑
?	白	黑	黑	黑	黑	1白-4黑
?	白	黑	白	黑	白	3白-2黑
?	黑	白	黑	白	黑	2白-3黑

首先，初始化参数 p1 = 0.1，p2 = 0.9。

然后，计算隐变量 Z。

$$\begin{gathered} P(Z=1,X=1,p)=p_1^3\times (1-p_1{)}^2=0.00081 \\ P(Z=2,X=1,p)=p_2^3\times (1-p_2{)}^2=0.00729 \end{gathered}$$

同理，我们可以分别求出 5 轮每个盒子的概率。

轮数	盒子1	盒子2
1	0.00081	0.00729
2	0.00729	0.00081
3	0.06561	0.00009
4	0.00081	0.00729
5	0.00729	0.00081

从上表中我们可以发现，在 p1 = 0.1，p2 = 0.9 时，通过极大似然估计法计算，轮数 1 和 4 最有可能从盒子 2 中取出，而轮数 2、3 和 5 最有可能从盒子 1 中取出。

假设参数 p1 = 0.7, p2 = 0.3，此时可得

轮数	盒子1	盒子2
1	0.03087	0.01323
2	0.01323	0.03087
3	0.07203	0.00567
4	0.03087	0.01323
5	0.01323	0.03087

此时，轮数 1 和 4 最有可能从盒子 1 中取出，而轮数 2、3 和 5 最有可能从盒子 2 中取出。

在这个过程中，P(X,Z)与初始化的参数 p 关联较深。对于轮数 1，盒子 1 和盒子 2 的概率仅取决于初始化的概率。我们希望考虑所有轮数的结果，然后对每一轮计算P(Z|X)条件概率，这样得到的综合结果会比单独根据每一轮的结果可能会更好。

以 p1 = 0.1，p2 = 0.9 为例执行该步骤，第一轮中盒子 1 的联合概率 P(Z=1,X=1,p) = 0.00081，盒子 2 的联合概率 P(Z=2,X=1,p) = 0.00729：
$$\begin{gathered} P(Z=1|X=1,p)=\frac{P(Z=1|X=1,p)}{{\sum }_{i=1}P(Z=i|X=1,p)}=\frac{0.00081}{0.00810}=0.1 \\ P(Z=2|X=1,p)=\frac{P(Z=2|X=1,p)}{{\sum }_{i=1}P(Z=i|X=1,p)}=\frac{0.00729}{0.00810}=0.9 \end{gathered}$$

轮数	盒子 1	盒子 2
1	0.1	0.9
2	0.9	0.1
3	0.999	0.001
4	0.1	0.9
5	0.9	0.1

实际上这个步骤相当于求条件概率的期望，这正对应了 EM 算法中的 E 步——求期望（expectation）。

接着归一化后的概率来计算每个盒子中取出的白球数和黑球数。

• 盒子 1 中取出的白球数：

$$3\times 0.1+2\times 0.9+1\times 0.999+3\times 0.1+2\times 0.9=5.199$$

• 盒子 1 中取出的黑球数：

$$2\times 0.9+3\times 0.1+4\times 0.001+2\times 0.9+3\times 0.1=4.204$$

• 盒子 2 中取出的白球数：

$$3\times 0.9+2\times 0.1+1\times 0.001+3\times 0.9+2\times 0.1=5.801$$

• 盒子 2 中取出的黑球数：

$$2\times 0.1+3\times 0.9+4\times 0.999+2\times 0.1+3\times 0.9=9.796$$

再知道盒子 1 和 2 分别取出的白球和黑球数之后，我们就可以直接使用极大似然估计法去优化参数 p。

盒子 1 中抽出 5.199 个白球和 4.204 个黑球，盒子 2 中抽取 5.801 个白球和 9.796 个黑球。
$$\begin{gathered} L(p_1)=ln(p_1^{5.199}(1-p_1{)}^{4.204})=5.199ln{p}_1+4.204ln(1-p_1) \\ L(p_2)=ln(p_2^{5.801}(1-p_2{)}^{9.796})=5.801ln{p}_2+9.796ln(1-p_2) \\ \frac{\partial L(p_1)}{\partial p_1}=\frac{5.199}{p_1}-\frac{4.204}{1-p_1}=0\to p_1\approx 0.553 \\ \frac{\partial L(p_2)}{\partial p_2}=\frac{5.801}{p_2}-\frac{9.796}{1-p_2}=0\to p_2\approx 0.372 \end{gathered}$$

这一步骤对应 EM 算法的 M 步——求极大（maximization）。

EM 算法就是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法。

算法步骤

【算法】：EM 算法。

• 输入：观测变量数据 X，隐变量数据 Z，联合分布 $P(X,Z|\theta )$，条件分布 $P(Z|X,\theta )$。
• 输出：模型参数 $\theta$。
• 过程：

1. 选择参数的初值 ${\theta }^{(0)}$，开始迭代；
2. E 步：记 ${\theta }^{(i)}$ 为第 i 次迭代参数 $\theta$ 的估计值，在第 i + 1 次迭代的 E 步，计算

$$\begin{gathered} \varrho (\theta ,{\theta }^{(i)})=E_Z[logP(X,Z|\theta )|X,{\theta }^{(i)}] \\ =\sum _{Z}logP(X,Z|\theta )P(Z|X,{\theta }^{(i)}) \end{gathered}$$
这里，$P(Z|X, \theta^{(i)}) 是在给定观测数据 X 和当前的参数估计 ${\theta }^{(i)}$ 下隐变量 Z 的条件概率分布。对应前面案例中的：

$$\begin{gathered} L(p_1)=ln(p_1^{5.199}(1-p_1{)}^{4.204})=5.199ln{p}_1+4.204ln(1-p_1) \\ L(p_2)=ln(p_2^{5.801}(1-p_2{)}^{9.796})=5.801ln{p}_2+9.796ln(1-p_2) \end{gathered}$$

3. M 步：求使 $\varrho (\theta ,{\theta }^{(i)})$ 极大化的 $\theta$，确定第 i + 1 此迭代的参数的估计值 ${\theta }^{(i+1)}$
   $${\theta }^{(i+1)}=arg\underset{\theta }{\max }\varrho (\theta ,{\theta }^{(i)})$$
4. 重复第 2 步和第 3 步，直到收敛。

$\varrho (\theta ,{\theta }^{(i)})$ 是 EM 算法的核心，称为 Q 函数。

【定义：Q 函数】：完全数据的对数似然函数 $logP(Y,Z|\theta )$ 关于在给定观测数据 Y 和当前参数 ${\theta }^{(i)}$ 下对未观测数据 Z 的条件概率分布 $P(Z|Y,{\theta }^{(i)})$ 的期望称为 Q 函数，即
$$\varrho (\theta ,{\theta }^{(i)})=E_Z[logP(Y,Z|\theta )|Y,{\theta }^{(i)}]$$

【关于 EM 算法的几点说明】：

• 步骤（1）：参数的初值可以任意选择，但需注意 EM 算法对初值是敏感的。
• 步骤（2）：E 步求 $\varrho (\theta ,{\theta }^{(i)})$。Q 函数式中 Z 是未观测数据，Y 是观测额数据。注意，$\varrho (\theta ,{\theta }^{(i)})$ 的第 1 个变元表示要极大化的参数，第 2 个变元表示参数的当前估计值。每次迭代实际在求 Q 函数及其极大。
• 步骤（3）：M 步求 $\varrho (\theta ,{\theta }^{(i)})$ 的极大化，得到 ${\theta }^{(i+1)}$，完成一次迭代 ${\theta }^{(i)}\to {\theta }^{(i+1)}$。
• 步骤（4）：给出停止迭代的条件，一般是对较小的整数 ${\epsilon }_1{\epsilon }_2$，若满足下面式子，则停止迭代。
  $$||{\theta }^{(i+1)}-{\theta }^{(i)}||<{\epsilon }_{1}or||\varrho (\theta ,{\theta }^{(i+1)})-\varrho (\theta ,{\theta }^{(i)})||<{\epsilon }_2$$