无监督学习 | GMM 高斯混合聚类原理及Sklearn实现

相关文章：

机器学习 | 目录

机器学习 | 聚类评估指标

机器学习 | EM 算法原理

无监督学习 | KMeans与KMeans++原理

无监督学习 | KMeans之Sklearn实现：电影评分聚类

无监督学习 | 层次聚类 之凝聚聚类原理及Sklearn实现

无监督学习 | DBSCAN 原理及Sklearn实现

本文大部分内容搬运自周至华老师的《机器学习》^[1]。

1. 高斯混合聚类

与 $k$ 均值 用原型向量来刻画聚类结构不同，高斯混合（Mixture-of-Gaussian）聚类采用概率模型来表达聚类原型。

我们先简单回顾下多元高斯（正态）分布的定义。对 $n$ 维样本空间 $\mathcal{X}$ 中的随机向量 $x$，若服从高斯分布，其概率密度函数为：

$$p(\mathbf{x})=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\mathbf{\Sigma }{|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })}\text{\hspace{1em}(1)}$$

其中 $\mu$ 是 $n$ 维均值向量，$\Sigma$ 是 $n\times n$ 的协方差矩阵。由上式可知，高斯分布完全由均值向量 $\mu$ 和协方差矩阵 $\Sigma$ 这两个参数确定。为了明确显示高斯分布与相应参数的依赖关系，将概率密度函数记为 $p(x|\mu ,\Sigma )$。

1.1 高斯混合分布

我们可以定义高斯混合分布：

$$p_{\mathcal{M}}={\alpha }_i\cdot p(x|{\mu }_i,{\Sigma }_i)\text{\hspace{1em}(2)}$$

该分布共由 $k$ 个混合成分组成，每个混合成分对应一个高斯分布。其中 ${\mu }_i$ 与 ${\Sigma }_i$ 是第 $i$ 个高斯混合成分的参数，而 ${\alpha }_i>0$ 为对应的“混合系数”（muxture coefficient），且 ${\sum }_{i=1}^k{\alpha }_i=1$。

假设样本的生成过程由高斯混合分布给出：首先，根据 ${\alpha }_1,{\alpha }_2,...,{\alpha }_k$ 定义的先验分布选择高斯混合成分，其中 ${\alpha }_i$ 为选择第 $i$ 个混合成分的概率；然后，根据被选择的混合成分的概率密度函数进行采样，从而生成相应的样本。

若训练集 $D=\{x_1,x_2,...,x_m\}$ 由上述过程生成，令随机变量 $z_j\in \{1,2,...,k\}$ 表示生成样本 $x_j$ 的高斯混合成分，其取值未知。显然，$z_j$ 的先验概率 $P(z_j=i)$ 对应于 ${\alpha }_i(i=1,2,...,k)$。

根据贝叶斯定理，有：

$$p_{\mathcal{M}}(x_j,z_j=i)=p_{\mathcal{M}}(x_j)\cdot p_{\mathcal{M}}(z_j=i|x_j)\text{\hspace{1em}(3)}$$

$$p_{\mathcal{M}}(x_j,z_j=i)=P(z_j=i)\cdot p_{\mathcal{M}}(x_j|z_j=i)\text{\hspace{1em}(4)}$$

所以 $z_j$ 的后验分布对应于：

$$\begin{array}{rl}{p}_{\mathcal{M}}\left(z_j=i|{\mathbf{x}}_j\right)& =\frac{P\left(z_j=i\right)\cdot p_{\mathcal{M}}\left({\mathbf{x}}_j|z_j=i\right)}{p_{\mathcal{M}}\left({\mathbf{x}}_j\right)}\\ & =\frac{{\alpha }_i\cdot p\left({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i\right)}{{\sum }_{l=1}^k{\alpha }_l\cdot p\left({\mathbf{x}}_j|{\mathbf{\mu }}_l,{\mathbf{\Sigma }}_l\right)}\end{array}\text{\hspace{1em}(5)}$$

换言之，$p_{\mathcal{M}}(z_j=i|x_j)$ 给出了样本 $x_j$ 由第 $i$ 个高斯混合成分生成的后验概率，为方便叙述，将其简记为 ${\gamma }_{ji}(i=1,2,...,k)$。

当高斯混合分布 (2) 已知时，高斯混合聚类将样本集 $D$ 划分为 $k$ 个簇 $C=\{C_1,C_2,...,C_k\}$，每个样本 $x_j$ 的簇标记 ${\lambda }_j$ 如下确定：

$${\lambda }_j=\underset{i\in \{1,2,\dots ,k\}}{\mathrm{argmax}}{\gamma }_{ji}\text{\hspace{1em}(6)}$$

因此，从原型聚类的角度来看，高斯混合聚类时采用概率模型（高斯分布）对原型进行刻画，簇划分则由原型对应后验概率确定。

1.2 参数求解

对于高斯混合分布中的参数 $\{({\alpha }_i,{\mu }_i,{\Sigma }_i)|1\le i\le k\}$ 的求解，对于给定样本集 $D$，可采用极大似然估计，即：

$$\begin{array}{rl}LL(D)& =\ln \left(\prod _{j=1}^m{p}_{\mathcal{M}}\left({\mathbf{x}}_j\right)\right)\\ & =\sum _{j=1}^m\ln \left(\sum _{i=1}^k{\alpha }_i\cdot p\left({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i\right)\right)\end{array}\text{\hspace{1em}(7)}$$

常采用 EM 算法 进行迭代优化求解。下面我们做一个简单的推导。

若参数 $\{({\alpha }_i,{\mu }_i,{\Sigma }_i)|1\le i\le k\}$ 能使式 (7) 最大化，则由 $\frac{\partial LL(D)}{\partial {\mathbf{\mu }}_i}=0$、$\frac{\partial LL(D)}{\partial {\mathbf{\Sigma }}_i}=0$ 有：

$${\mathbf{\mu }}_i=\frac{{\sum }_{j=1}^m{\gamma }_{ji}{\mathbf{x}}_j}{{\sum }_{j=1}^m{\gamma }_{ji}}\text{\hspace{1em}(8)}$$

$${\mathbf{\Sigma }}_i=\frac{{\sum }_{j=1}^m{\gamma }_{ji}\left({\mathbf{x}}_j-{\mathbf{\mu }}_i\right){\left({\mathbf{x}}_j-{\mathbf{\mu }}_i\right)}^{\mathrm{T}}}{{\sum }_{j=1}^m{\gamma }_{ji}}\text{\hspace{1em}(9)}$$

从式 (8) 可以看出各混合成分的均值 ${\mu }_i$ 可通过样本加权平均来估计，样本权重是每个样本属于该成分的后验概率。

对于混合系数 ${\alpha }_i$，除了要最大化 $LL(D)$，还要满足 ${\alpha }_i\ge 0,{\sum }_{i=1}^k{\alpha }_i=1$。考虑 $LL(D)$ 的拉格朗日形式：

$$LL(D)+\lambda (\sum _{i=1}^k{\alpha }_i-1)\text{\hspace{1em}(10)}$$

其中 $\lambda$ 为拉格朗日乘子。对式 (10) 求 ${\alpha }_i$ 的导数为 0，有：

$$\sum _{j=1}^m\frac{p\left({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i\right)}{{\sum }_{l=1}^k{\alpha }_l\cdot p\left({\mathbf{x}}_j|{\mathbf{\mu }}_l,{\mathbf{\Sigma }}_l\right)}+\lambda =0\text{\hspace{1em}(11)}$$

两边同乘以 ${\alpha }_i$ ，对所有样本求和可知 $\lambda =-m$，有：

$${\alpha }_i=\frac{1}{m}\sum _{j=1}^m{\gamma }_{ji}\text{\hspace{1em}(12)}$$

即每个高斯成分的混合系数有样本属于该成分的平均后验概率确定。

---

1.3 EM 算法

由上述推导即可获得高斯混合模型的 EM 算法：E 步：在每步迭代中，先根据当前参数来计算每个样本属于每个高斯成分的后验概率 ${\gamma }_{ji}$；M 步：根据式 (8)、(9)、(11) 更新模型参数 $\{({\alpha }_i,{\mu }_i,{\Sigma }_i)|1\le i\le k\}$。

高斯混合聚类算法如下图所示。算法第 1 行对高斯混合分布的模型参数进行初始化（通常是随机或使用 KMeans 进行初始化），然后，在第 2-12 行基于 EM 算法对模型参数进行迭代更新。若 EM 算法的停止条件满足（例如已到达最大迭代轮数，或似然函数 $LL(D)$ 增长很少甚至不再增长），则在第 14-17 行根据高斯混合分布确定簇划分，在第 18 行返回最终结果。

图1 高斯混合聚类算法的 EM 算法

2. Sklearn 实现

sklearn.mixture.GaussianMixture(n_components=1, covariance_type=’full’, tol=0.001, reg_covar=1e-06, max_iter=100, n_init=1, init_params=’kmeans’, weights_init=None, means_init=None, precisions_init=None, random_state=None, warm_start=False, verbose=0, verbose_interval=10)

参数 ^[2]：

1. n_components:混合高斯模型个数，默认为1
2. covariance_type:协方差类型，包括{‘full’,‘tied’, ‘diag’, ‘spherical’}四种，分别对应完全协方差矩阵（元素都不为零），相同的完全协方差矩阵（HMM会用到），对角协方差矩阵（非对角为零，对角不为零），球面协方差矩阵（非对角为零，对角完全相同，球面特性），默认‘full’ 完全协方差矩阵
3. tol：EM迭代停止阈值，默认为1e-3.
4. reg_covar:协方差对角非负正则化，保证协方差矩阵均为正，默认为0
5. max_iter:最大迭代次数，默认100
6. n_init:初始化次数，用于产生最佳初始参数，默认为1
7. init_params: {‘kmeans’, ‘random’}, defaults to ‘kmeans’.初始化参数实现方式，默认用kmeans实现，也可以选择随机产生
8. weights_init:各组成模型的先验权重，可以自己设，默认按照7产生
9. means_init:初始化均值，同8
10. precisions_init:初始化精确度（模型个数，特征个数），默认按照7实现
11. random_state :随机数发生器
12. warm_start :若为True，则fit（）调用会以上一次fit（）的结果作为初始化参数，适合相同问题多次fit的情况，能加速收敛，默认为False。
13. verbose :使能迭代信息显示，默认为0，可以为1或者大于1（显示的信息不同）
14. verbose_interval :与13挂钩，若使能迭代信息显示，设置多少次迭代后显示信息，默认10次。

参考文献

[1] 李航. 统计学习方法[M]. 北京: 清华大学出版社, 2012: 95-96.

[2] QuantumChaos.SKlearn库EM算法混合高斯模型参数说明及代码实现[EB/OL].https://blog.csdn.net/lihou1987/article/details/70833229?utm_source=copy, 2017-04-26.