机器学习——EM算法

---

以下内容均为个人理解，如有错误，欢迎指出

---

什么是EM算法

EM算法是一类通过迭代进行极大似然估计的优化算法，用于对包含隐变量或缺失数据的概率模型进行参数估计。

什么是隐变量

可以表示缺失数据，或概率模型中任何无法直接观测的随机变量，隐变量往往会影响观测变量的取值，例如现在有一群人的身高，但是我们并不知道每个人的性别，性别就是一个隐变量

什么是极大似然估计

• 概念：我们有一个概率密度（质量）函数，其中含有未知数，极大似然估计就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的未知数的值。
• 可以使用最大似然估计的条件：

1、n次实验互相独立，即样本之间互相独立
2、已知其概率密度函数（连续分布）或概率质量函数（离散分布）

• 举个例子，对于某个事件，我们已知其概率质量函数（离散分布）：P（Y₁）、P（Y₂）… P（Y_n），即给定一个输入，输出为Y₁、Y₂… Y_n的概率，但是这些概率质量函数中有一个未知数，记为W，那么如何确定W的值呢？我们给定n个输入，进行n次实验，n次实验之间相互独立，获得n个输出，记为Y，极大似然估计相信进行n次实验，最终结果为Y的概率最大，由于n次实验之间互相独立，记第i次实验结果对应的概率质量函数为Z_i，那么结果为Y的概率为${\prod }_{i=1}^n$Z_i，此时就是一个最优化问题，即确定W，使${\prod }_{i=1}^n$Z_i有最大值，最优化那一套理论便可以派上用场，由于乘法求导比较麻烦，所以我们常常加一个log，即log(${\prod }_{i=1}^n$Z_i)，此时可变为加法求导。

为什么需要EM算法

以下为个人理解，如有错误，欢迎指出

给定一个南方人身高的观测样本$x_1,x_2,x_3,....x_n$，假定身高服从正态分布，我们不知道正态分布的期望与方差，这两个参数记为$\theta$，现在我们想依据这批身高数据求得正态分布的两个参数，从而求得南方人身高的概率密度函数。

我们知道性别可以间接影响身高，例如一个人是女性，那么大概率其身高在1米6左右，如果是男性，其身高大概率在1米7左右，如果我们直接使用极大似然估计最大化对数似然$max(log({\sum }_{i=1}^{n}p(x_i|\theta )))$，假设这批样本都是女性，那么求得的概率密度函数将显示大部分南方人的身高都是1米6（男孩子哭死），显然，在有隐变量的情况下，直接使用极大似然估计求出的参数$\theta$将具有很大的偏差，而EM算法将在考虑隐变量的情况下最大化对数似然函数，则有
$$\begin{array}{rl}max(\sum _{i=1}^n\log p(x_i|\theta ))=& max(\sum _{i=1}^n\log \sum _{j=1}^{m}p(x_i,z_j|\theta ))（隐变量是离散随机变量）\\ max(\sum _{i=1}^n\log p(x_i|\theta ))=& max(\sum _{i=1}^n\log {\int }_a^{b}p(x_i,z|\theta ))（隐变量是连续随机变量）\end{array}$$
这看起来非常神奇，毕竟我们都不知道样本集中的样本的性别，但是EM算法是有理论保障的，本文将假设隐变量为离散随机变量

EM算法的推导

预备知识

Jensen不等式
x是一个随机变量，f(x)是一个概率密度函数，如果它是一个凸函数，则有
$$E[f(x)]\ge f[E(x)]$$
若
若f(x)是一个凹函数，则有
$$E[f(x)]\le f[E(x)]$$

当且仅当x是一个常数时，即随机变量取值固定，等号成立

推导过程

符号表

符号名	含义
$Q(z_{ij})$	表示样本i属于隐藏变量$z_j$的概率
m	样本数
n	隐变量数
$\theta$	未知参数
$p(x_i,z_j;\theta )$	表示隐变量取值为$z_i$且样本$x_i$出现的概率（带未知参数的表达式）
$y_j$	$y_j=\frac{p(x_i,z_j;\theta )}{Q(z_{ij})}$，为离散随机变量

我们的想法是构造出Jenson不等式，对于对数似然${\sum }_{i=1}^m\log {\sum }_{j=1}^{n}p(x_i,z_j;\theta )$，我们取其中的一项$\log {\sum }_{j=1}^{n}p(x_i,z_j;\theta )$进行讨论，对其进行变形，则有
$$\log \sum _{j=1}^{n}p(x_i,z_j;\theta )=\log \sum _{j=1}^n(Q(z_{ij})\frac{p(x_i,z_j;\theta )}{Q(z_{ij})})（式1.1）$$
若设$p(Y=y_j)=Q(z_{ij})$，式1.1可看成${\sum }_{j=1}^{n}p(Y=y_j)y_j$，这是离散随机变量$y_j$的期望，假设有一个对数函数，则式1.1可看成$f(E(Y))$，而对数函数是凹函数，所以$E(f(Y))={\sum }_{i=j}^n[log(\frac{p(x_i,z_j;\theta )}{Q(z_{ij})})]Q(z_{ij})$，由于对数函数是凹函数，则有$$f(E(Y))=\log \sum _{j=1}^n(Q(z_{ij})\frac{p(x_i,z_j;\theta )}{Q(z_{ij})})\ge E(f(Y))=\sum _{i=j}^n[log(\frac{p(x_i,z_j;\theta )}{Q(z_{ij})})]Q(z_{ij})$$
等号成立的条件是$y_j(1\le j\le n)$均为常数，设该常数为c，则有
$$\begin{array}{rl}{y}_1& =\frac{p(x_i,z_1;\theta )}{Q(z_{i1})}=c\\ y_2& =\frac{p(x_i,z_2;\theta )}{Q(z_{i2})}=c\\ & .....\\ y_n& =\frac{p(x_i,z_1;\theta )}{Q(z_{in})}=c\end{array}$$
则有
$$\begin{array}{rl}\frac{p(x_i,z_1;\theta )}{c}& =Q(z_{i1})\\ \frac{p(x_i,z_2;\theta )}{c}& =Q(z_{i2})\\ .....& \\ \frac{p(x_i,z_n;\theta )}{c}& =Q(z_{in})\end{array}$$
由于一个样本必然属于某个隐变量，则有${\sum }_{i=1}^{n}Q(z_{ij})=1$，将上述式子相加即为
$$c=\sum _{j=1}^{n}p(x_i,z_j;\theta )=\sum _{j=1}^{n}p(x_i;\theta )p(z_i|x_i;\theta )=p(x_i;\theta )\sum _{j=1}^{n}p(z_i|x_i;\theta )=p(x_i;\theta )$$
所以有
$$Q(z_{ij})=\frac{p(x_i,z_j;\theta )}{p(x_i;\theta )}=p(z_j|x_i;\theta )$$
即已知样本i，该样本属于隐变量$z_j$的概率，此时等号成立，即
$$\log \sum _{j=1}^{n}p(x_i,z_j;\theta )=\sum _{i=j}^n[\log (\frac{p(x_i,z_j;\theta )}{Q(z_{ij})})]Q(z_{ij})=\sum _{j=1}^n[\log \frac{p(x_i,z_j;\theta )}{p(z_j|x_i;\theta )}]p(z_j|x_i;\theta )$$
则有
$$\sum _{i=1}^m\log \sum _{j=1}^{n}p(x_i,z_j;\theta )=\sum _{i=1}^m\sum _{j=1}^n[\log \frac{p(x_i,z_j;\theta )}{p(z_j|x_i;\theta )}]p(z_j|x_i;\theta )（式1.2）$$

因此最大化对数似然等价于最大化式1.2的右半部分（以下简称式1.2），为什么要使用Jenson不等式进行变化呢？这是由于对数似然在对数函数内部有一个和式，加上概率密度函数一般非常复杂，例如正态分布，求导的结果将会非常复杂，导致求解最大值异常困难
虽然式1.2看起来更加复杂，但是由于EM算法的存在，求其（局部）最大的过程将较为简洁

EM算法的过程

EM算法是一个迭代过程，假设我们的概率密度函数的一组未知参数为${\theta }_1,{\theta }_2,...,{\theta }_n$，记为$\theta$，我们首先随机初始化这组参数，假设有k个样本，隐藏变量为$z_1,z_2,....,z_m$，设第t次迭代，求得的参数取值为${\theta }_1^t,{\theta }_2^t,...,{\theta }_n^t$，记为${\theta }^t$，则第t+1次迭代的参数取值${\theta }_1^{t+1},{\theta }_2^{t+1},.....,{\theta }_n^{t+1}$（记为${\theta }^{t+1}$）通过下列步骤求得

• E步：根据参数${\theta }^t,$计算每个样本属于$z_j(1\le j\le m)$的概率，即$p(z_j|x_i;{\theta }^t)$
• M步：根据E步的结果，计算下式:
  $$\sum _{i=1}^k\sum _{j=1}^{m}p(z_j|x_i;{\theta }^t)log\frac{p(x_i,z_j;\theta )}{p(z_j|x_i;{\theta }^t)}（式1.3）$$
  其中，$p(x_i,z_j;\theta )$表示隐变量取值为$z_i$且样本$x_i$出现的概率，注意到参数是$\theta$，是变量，接下来我们将最大化式1.3，此时$\theta$的取值即为${\theta }^{t+1}$

重复E步与M步，直到参数不再变化为止，相比于直接对对数似然求导，式1.3求导的结果将非常简洁。

总结一下为什么需要使用Jenson不等式对含有隐变量的对数似然进行转换。
因为含有隐变量的对数似然求导非常困难，这导致求解最大化过程非常困难，因此，我们使用Jenson不等式对其进行转换，接着用EM算法进行优化，此时求解过程将变得更加简洁容易

EM算法为什么有效

我们只需要证明EM算法的每次迭代求得的$\theta$都会使式1.2增大即可，即
$$\sum _{i=1}^n\log p(x_i;{\theta }^{t+1})=\sum _{i=1}^m\sum _{j=1}^n[\log \frac{p(x_i,z_j;{\theta }^{t+1})}{p(z_j|x_i;{\theta }^{t+1})}]p(z_j|x_i;{\theta }^{t+1})\ge \sum _{i=1}^m\sum _{j=1}^n[\log \frac{p(x_i,z_j;{\theta }^t)}{p(z_j|x_i;{\theta }^t)}]p(z_j|x_i;{\theta }^t)=\sum _{i=1}^n\log p(x_i;{\theta }^t)（式1.5）$$
其中${\theta }^t、{\theta }^{t+1}$分别表示第t、t+1轮变量$\theta$的取值，等号成立时表示位于（局部）最大

依据条件概率，我们有
$$p(x;\theta )=\frac{p(x,z;\theta )}{p(z|x;\theta )}$$
取对数可得
$$\log p(x;\theta )=\log p(x,z|\theta )-\log p(z|x;\theta )$$
设
$$\begin{array}{rl}Q(\theta ,{\theta }^t)=& \sum _{i=1}^n\sum _{j=1}^m\log p(x_i,z_{ij};\theta )p(z_{ij}|x_i;{\theta }^t)\\ H(\theta ,{\theta }^t)=& \sum _{i=1}^n\sum _{j=1}^m\log p(z_{ij}|x_i;\theta )p(z_{ij}|x_i;{\theta }^t)\end{array}$$
所以有
$$\begin{array}{rl}Q(\theta ,{\theta }^t)-H(\theta ,{\theta }^t)& =\sum _{i=1}^n\sum _{j=1}^m[\log p(x_i,z_{ij};\theta )-\log p(z_{ij}|x_i;\theta )]p(z_{ij}|x_i;{\theta }^t)\\ & =\sum _{i=1}^n\sum _{j=1}^m\log \frac{p(x_i,z_{ij};\theta )}{p(z_{ij}|x_i;\theta )}p(z_{ij}|x_i;{\theta }^t)\\ & =\sum _{i=1}^n\sum _{j=1}^m\log p(x_i;\theta )p(z_{ij}|x_i;{\theta }^t)(条件概率的公式)\\ & =\sum _{i=1}^n\log p(x_i;\theta )\sum _{j=1}^{m}p(z_{ij}|x_i;{\theta }^t)\\ & =\sum _{i=1}^n\log p(x_i;\theta )\end{array}$$
即$Q(\theta ,{\theta }^t)-H(\theta ,{\theta }^t)$就是对数似然，则有
$$\begin{array}{r}\sum _{i=1}^n\log p(x_i;{\theta }^{t+1})-\sum _{i=1}^n\log p(x_i;{\theta }^t)=[Q({\theta }^{t+1},{\theta }^t)-Q({\theta }^t,{\theta }^t)]-[H({\theta }^{t+1},{\theta }^t)-H({\theta }^t,{\theta }^t)](式1.6)\end{array}$$

由EM算法的M步，我们有
$$\sum _{i=1}^k\sum _{j=1}^{m}p(z_j|x_i;{\theta }^t)log\frac{p(x_i,z_j;{\theta }^{t+1})}{p(z_j|x_i;{\theta }^t)}\ge \sum _{i=1}^k\sum _{j=1}^{m}p(z_j|x_i;{\theta }^t)log\frac{p(x_i,z_j;{\theta }^t)}{p(z_j|x_i;{\theta }^t)}$$
两端同时加上${\sum }_{i=1}^k{\sum }_{j=1}^{m}p(z_j|x_i;{\theta }^t)\log p(z_j|x_i;{\theta }^t)$(懒，所以不写了)，则有
$$Q({\theta }^{t+1},{\theta }^t)-Q({\theta }^t,{\theta }^t)\ge 0$$
第二项会用到Jenson不等式
$$\begin{array}{rl}H({\theta }^{t+1},{\theta }^t)-H({\theta }^t,{\theta }^t)=& \sum _{i=1}^n\sum _{j=1}^m\log \frac{p(z_{ij}|x_i;{\theta }^{t+1})}{p(z_{ij}|x_i;{\theta }^t)}p(z_{ij}|x_i;{\theta }^t)\\ \le & \sum _{i=1}^n\log \sum _{j=1}^m\frac{p(z_{ij}|x_i;{\theta }^{t+1})}{p(z_{ij}|x_i;{\theta }^t)}p(z_{ij}|x_i;{\theta }^t)\\ =& \sum _{i=1}^n\log \sum _{j=1}^{m}p(z_{ij}|x_i;{\theta }^{t+1})=0\end{array}$$
其实就是E[f(x)]$\le$ f[E(x)]，所以式1.6大于等于0，式1.5得证

至此，EM算法已经全部讲解完毕，HMM算法的推导就有用到EM算法，具体可查看机器学习——隐马尔科夫模型