机器学习笔记——11 混合高斯模型(Mixtures of Gaussian)：利用EM算法估计参数

机器学习笔记——11 混合高斯模型(Mixtures of Gaussian)：利用EM算法估计参数

本文主要介绍混合高斯模型，它涉及到对个分布来源，因此参数的估计将是一个难题。本文着重介绍如何利用EM算法对参数进行估计。

混合高斯模型(Mixtures of Gaussian)

在我们之前接触的大部分分布中，样本数据大部分独立同分布与某个分布。但是混合高斯模型中，样本数据并不是来自一个单一的高斯分布，而是来自多个高斯分布。我们假设共有$k$个高斯分布，如果第i个样本$x^{(i)}$来自第j个高斯分布，记$z^{(i)}=j$。在高斯混合模型中，$p(x|z=j)=N(u_j,{\Sigma }_j)$。而参数$z$服从多项分布$Multinomial(\varphi )$。即$z$取$j$的概率为${\varphi }_j$。由此我们可以导出混合高斯的边缘分布为：$$m(x)=\sum _{j=1}^{k}p(z=j)p(x|z=j)=\sum _{j=1}^k{\varphi }_{j}p(x|u_j,{\Sigma }_j)$$因此样本的对数似然函数为：$$\begin{array}{rl}\ell (\varphi ,u,\Sigma )=& \log \prod _{i=1}^{m}m(x^{(i)})\\ =& \sum _{i=1}^m\log m(x^{(i)})\\ =& \sum _{i=1}^m\log \sum _{j=1}^k{\varphi }_{j}p(x|u_j,{\Sigma }_j)\end{array}$$不难发现，我们对上述函数进行求导，得到的方程是无法直接求解。但是如果我们已经事先知道各个$z^{(i)}$的取值，那么参数的估计将变得很简单，即$${\varphi }_j=\frac{1}{m}\sum _{i=1}^{m}1\{z^{(i)}=j\}$$$$u_j=\frac{{\sum }_{i=1}^{m}1\{z^{(i)}=j\}{x}^{(i)}}{{\sum }_{i=1}^{m}1\{z^{(i)}=j\}}$$$${\Sigma }_j=\frac{{\sum }_{i=1}^{m}1\{z^{(i)}=j\}(x^{(i)}-u_j)(x^{(i)}-u_j{)}^T}{{\sum }_{i=1}^{m}1\{z^{(i)}=j\}}$$基于此，我们可以利用EM算法来求解。记$w_j^{(i)}=P(z^{(i)}=j)$，其初始值在合理范围内随机分配，然后进行EM算法：
Repeate until convergence
(E-step) For each i,j,set
$$w_j^{(i)}=p(z^{(i)}=j|x^{(i)},\varphi ,u,\Sigma )$$(M-step) Update the parameters
$${\varphi }_j=\frac{1}{m}\sum _{i=1}^m{w}_j^{(i)}$$$$u_j=\frac{{\sum }_{i=1}^m{w}_j^{(i)}{x}^{(i)}}{{\sum }_{i=1}^m{w}_j^{(i)}}$$$${\Sigma }_j=\frac{{\sum }_{i=1}^m{w}_j^{(i)}(x^{(i)}-u_j)(x^{(i)}-u_j{)}^T}{{\sum }_{i=1}^m{w}_j^{(i)}}$$其中$w_j^{(i)}$的更新利用的是贝叶斯公式，如下：$$\begin{array}{r}{w}_j^{(i)}=p(z^{(i)}=j|x^{(i)},\varphi ,u,\Sigma )\\ =\frac{{\varphi }_{j}p(x^{(i)}|u_j,{\Sigma }_j)}{{\sum }_{l=1}^k{\varphi }_{l}p(x^{(i)}|u_l,{\Sigma }_l)}\end{array}$$不难发现，我们这里采用的算法和Kmean聚类中采用的算法，其思想是一致的。我们通过引入一些潜在变量(latent variables)(在本例中潜在变量是样本来源于哪个高斯分布，在Kmean中潜在变量是样本属于哪个类别)，并在开始时随机分配值，然后不断通过EM步骤迭代更新，最终达到收敛。
一个非常重要的问题是，我们如何保证本例中算法一定会收敛，在Kmean中我们具体的分析证明了所用算法的收敛性，在EM算法的博客中，我们将一般化地对EM算法进行讨论。