高斯混合模型（GMM）

  本内容主要介绍 高斯混合模型，以及 如何使用 EM 算法（期望最大算法）估计其参数。

  高斯混合模型（Gaussian Mixture Model，GMM），是一种业界广泛使用的 聚类 算法，该方法使用 高斯分布 作为参数模型，并使用 期望最大（Expectation Maximization，简称 EM）算法 进行训练。

1.1 高斯分布

  高斯分布（Gaussian distribution）有时也被称为 正态分布（normal distribution），是一种在自然界大量存在的、最为常见的分布形式。

  高斯分布的概率密度函数公式如下：

$$\mathcal{N}(x|\mu ,\sigma )=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})\text{\hspace{1em}(1.1)}$$

其中，参数 $\mu$ 表示均值，参数 $\sigma$ 表示标准差。均值对应正态分布的中间位置，标准差衡量了数据围绕均值分散的程度。图 1.1 是标准正态分布的图形，即 $\mu =1$，$\sigma =0$ 的正态分布。

图 1.1 标准正态分布

  当一个模型为一个高斯分布时，我们可以将其称为 单高斯模型（Gaussian single model, GSM）。如果样本数据 $x$ 为一维的，称这个模型为 一维单高斯模型；当样本数据 $\mathbf{x}$ 是多维数据时，称这个模型为 多维单高斯模型，其概率密度函数为：

$$\mathcal{N}(\mathbf{x}|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left(-\frac{(\mathbf{x}-\mu {)}^{\mathrm{T}}{\Sigma }^{-1}(\mathbf{x}-\mu )}{2}\right)\text{\hspace{1em}(1.2)}$$

其中，$n$ 为数据维度，$\mu$ 为 $n$ 维均值向量（期望），$\Sigma$ 为 $n\times n$ 的协方差矩阵。

1.2 高斯混合模型

  高斯混合模型（Gaussian Mixture Model，GMM）是由多个高斯分布组成的模型，其密度函数为多个高斯密度函数的加权组合，即：

$$p(x)=\sum _{j=1}^{k}p(j)p(x|j)=\sum _{j=1}^k{\pi }_j\mathcal{N}(x|{\mu }_j,{\sigma }_j)\text{\hspace{1em}(1.3)}$$
其中，${\pi }_j$ 表示第 $j$ 个高斯分布的权重系数，并满足 ${\pi }_j\ge 0$，${\sum }_{j=1}^k{\pi }_j=1$。

图 1.2 高斯混合模型

  图 1.2 中 $y_1$、$y_2$ 和 $y_3$ 分别表示三个一维单高斯模型；$y_{gmm1}$、$y_{gmm2}$ 和 $y_{gmm3}$ 分别表示三个高斯混合模型。理论上 GMM 可以拟合出任意类型的分布，通常用于解决同一集合下的数据包含多个不同的分布的情况。

  高斯混合模型的生成过程可以分为两步：

1. 首先按 ${\pi }_1,{\pi }_2,\cdots ,{\pi }_k$ 的分布，随机选取一个高斯分布；
2. 假设选中第 $j$ 个高斯分布，再从高斯分布 $\mathcal{N}(x|{\mu }_j,{\sigma }_j)$ 中选取一个样本 $x$。

1.3 使用 EM 算法估计 GMM 的参数

  针对单高斯模型，我们可以使用 最大似然估计 估计其参数。针对高斯混合模型，因为无法知道当前样本来自于哪个高斯分布，即存在隐变量，所以无法使用最大似然估计估计其参数，需要使用 EM 算法估计其参数。

1.3.1 使用 EM 算法估计 GMM 的参数

  下面我们使用 EM 算法 估计 GMM 的参数，我们以样本 $x$ 为一维数据进行介绍。

  首先 E 步，我们需要求 $Q_i(z^{(i)}=j)$，即：

$$Q_i(z^{(i)}=j)=p(z^{(i)}|x^{(i)};\theta )\text{\hspace{1em}(1.4)}$$

根据 贝叶斯定理 得：

$$\begin{array}{rl}{\gamma }_j^{(i)}& =p(z^{(i)}=j|x^{(i)})\\ & =\frac{p(z^{(i)}=j)p(x^{(i)}|z^{(i)}=j)}{p(x^{(i)})}\\ & =\frac{{\pi }_j\mathcal{N}(x^{(i)}|{\mu }_j,{\sigma }_j)}{{\sum }_{l=1}^k{\pi }_l\mathcal{N}(x^{(i)}|{\mu }_l,{\sigma }_l)}\end{array}\text{\hspace{1em}(1.5)}$$

在式（1.5）中，定义了 ${\gamma }_j^{(i)}$ 为样本 $x^{(i)}$ 属于第 $j$ 个高斯分布的后验概率。

  然后 M 步，最大化下界，下界表达式为：

$$\begin{array}{rl}LL(D)& =\sum _{i=1}^m\sum _{z^{(i)}}{Q}_i(z^{(i)})\log \frac{p(x^{(i)},z^{(i)};\pi ,\mu ,\sigma )}{Q_i(z^{(i)})}\\ & =\sum _{i=1}^m\sum _{j=1}^k{Q}_i(z^{(i)}=j)\log \frac{p(x^{(i)}|z^{(i)}=j;\mu ,\sigma )p(z^{(i)}=j)}{Q_i(z^{(i)}=j)}\\ & =\sum _{i=1}^m\sum _{j=1}^k{\gamma }_j^{(i)}\log \frac{\mathcal{N}(x^{(i)}|{\mu }_j,{\sigma }_j){\pi }_j}{{\gamma }_j^{(i)}}\\ & =\sum _{i=1}^m\sum _{j=1}^k{\gamma }_j^{(i)}\log \frac{\frac{1}{\sqrt{2\pi }{\sigma }_j}\exp (-\frac{(x^{(i)}-{\mu }_j{)}^2}{2{\sigma }_j^2})\cdot {\pi }_j}{{\gamma }_j^{(i)}}\\ & =\sum _{i=1}^m\sum _{j=1}^k{\gamma }_j^{(i)}\left(-\log \sqrt{2\pi }-\log {\sigma }_j-\frac{(x^{(i)}-{\mu }_j{)}^2}{2{\sigma }_j^2}+\log {\pi }_j-\log {\gamma }_j^{(i)}\right)\end{array}\text{\hspace{1em}(1.6)}$$

  我们通过最大化 $LL(D)$ 来求得 ${\mu }_j$，${\sigma }_j$ 和 ${\pi }_j$。

1.3.2 求解 ${\mu }_j$，${\sigma }_j$ 和 ${\pi }_j$ 的公式推导

  下面我们详细介绍一下 ${\mu }_j$ 的求解过程。首先求式（1.6）中 $LL(D)$ 关于 ${\mu }_j$ 的偏导：

$$\begin{array}{rl}{\nabla }_{{\mu }_j}& \sum _{i=1}^m\sum _{j=1}^k{\gamma }_j^{(i)}\left(-\log \sqrt{2\pi }-\log {\sigma }_j-\frac{(x^{(i)}-{\mu }_j{)}^2}{2{\sigma }_j^2}+\log {\pi }_j-\log {\gamma }_j^{(i)}\right)\\ & =\sum _{i=1}^m{\gamma }_j^{(i)}(\frac{2(x^{(i)}-{\mu }_j)}{2{\sigma }_j^2})\\ & =\sum _{i=1}^m{\gamma }_j^{(i)}\frac{(x^{(i)}-{\mu }_j)}{{\sigma }_j^2}\end{array}\text{\hspace{1em}(1.7)}$$

然后令式（1.7）为 $0$，并且两边同时乘以 ${\sigma }_j^2$ 得：

$$\begin{array}{rl}\sum _{i=1}^m{\gamma }_j^{(i)}(x^{(i)}-{\mu }_j)& =0\\ \sum _{i=1}^m{\gamma }_j^{(i)}{x}^{(i)}& ={\mu }_j\sum _{i=1}^m{\gamma }_j^{(i)}\end{array}\text{\hspace{1em}(1.8)}$$

根据式（1.8）得：

$${\mu }_j=\frac{{\sum }_{i=1}^m{\gamma }_j^{(i)}{x}^{(i)}}{{\sum }_{i=1}^m{\gamma }_j^{(i)}}\text{\hspace{1em}(1.9)}$$

这样我们就求得 ${\mu }_j$ 的值了。采用同样的方法，可以求得：

$${\sigma }_j=\frac{{\sum }_{i=1}^m{\gamma }_j^{(i)}(x^{(i)}-{\mu }_j{)}^2}{{\sum }_{i=1}^m{\gamma }_j^{(i)}}\text{\hspace{1em}(1.10)}$$

  对于 ${\pi }_j$，因为其需要满足 ${\pi }_j\ge 0$，${\sum }_{j=1}^k{\pi }_j=1$，所有我们需要使用 拉格朗日乘子法 求它的值。即求 $LL(D)+\lambda ({\sum }_{j=1}^m{\pi }_j-1)$ 关于 ${\pi }_j$ 的偏导，然后令其为 $0$，最终可求得：

$${\pi }_j=\frac{1}{m}\sum _{i=1}^m{\gamma }_j^{(i)}\text{\hspace{1em}(1.11)}$$

  当样本 $\mathbf{x}$ 为多维数据时，需要转换为向量形式，${\mu }_j$、${\Sigma }_j$ 和 ${\pi }_j$ 分别为：

$${\mu }_j=\frac{{\sum }_{i=1}^m{\gamma }_j^{(i)}{\mathbf{x}}^{(i)}}{{\sum }_{i=1}^m{\gamma }_j^{(i)}}\text{\hspace{1em}(1.12)}$$

$${\Sigma }_j=\frac{{\sum }_{i=1}^m{\gamma }_j^{(i)}({\mathbf{x}}^{(i)}-{\mu }_j)({\mathbf{x}}^{(i)}-{\mu }_j{)}^{\mathrm{T}}}{{\sum }_{i=1}^m{\gamma }_j^{(i)}}\text{\hspace{1em}(1.13)}$$

$${\pi }_j=\frac{1}{m}\sum _{i=1}^m{\gamma }_j^{(i)}\text{\hspace{1em}(1.14)}$$

1.3.3 高斯混合模型的参数学习算法

  高斯混合模型的参数学习算法流程如下：

1. 随机初始化参数：${\pi }_j$，${\mu }_j$ 和 ${\sigma }_j$，$1\le j\le k$。

2. E 步：根据当前参数（即 ${\pi }_j$，${\mu }_j$ 和 ${\sigma }_j$，由第 1 步初始化或第 3 步求得的）来计算每个样本属于每个高斯分布的后验概率 ${\gamma }_j^i$，$1\le i\le m$，$1\le j\le k$。

3. M 步：根据第 2 步求得的 ${\gamma }_j^{(i)}$ 计算 ${\pi }_j$，${\mu }_j$ 和 ${\sigma }_j$，$1\le j\le k$。

4. 重复第 2 步和第 3 步，直到收敛。
   
   

1.4 K-means 和 GMM 的关系

  K-means 模型首先随机初始化聚类中心，然后计算所有样本到 k 个聚类中心的距离，将样本归入离其最近的一个聚类中心所在的簇。然后对形成的每个簇，重新计算聚类中心，计算方式为簇内所有样本点的均值。有了新的聚类中心后，重新计算所有样本到 k 个聚类中心的距离，将样本归入离其最近的聚类中心所在的簇。不断迭代这两个步骤，当聚类中心不再发生变化或者达到最大迭代次数时结束。

  k-means 将样本分到离其最近的聚类中心所在的簇，也就是每个样本数据属于某簇的概率非 0 即 1。对比 k-means，高斯混合的不同之处在于，样本点属于某簇的概率不是非 0 即 1 的，而是属于不同簇有不同的概率值。

参考

[1] 李航《统计学习方法》
[2] 周志华《机器学习》
[3] 邱锡鹏《神经网络与深度学习》
[4] http://cs229.stanford.edu/notes/cs229-notes8.pdf
[5] 高斯混合模型（GMM）及其EM算法的理解
[6] 详解EM算法与混合高斯模型(Gaussian mixture model, GMM)
[7] 手把手教你实现一个高斯混合模型
[8] 一文详解高斯混合模型原理