GMM简介

高斯混合模型(GMM)

无论是k-means、层次聚类还是DBSCAN，聚类后都是有明显的“分界线”的，但如果是两个混合在一起的数据，这些方法就不能很好地聚类了，而GMM却能很好地对这类混合数据进行分类，GMM是利用同类数据呈现高斯分布的原理对数据进行区分的。

1､步骤

第一步：初始化k个高斯分布；

GMM必需的参数，n_components，指定聚类的数量

第二步：将数据软聚类成我们初始化的k个高斯；

初始化高斯分布的均值$\mu$和方差${\sigma }^2$，初始化权值、均值和精度的方法有以下两种方法：
第一种方法：随机生成
第二种方法：kmeans（默认）

第三步：软聚类

概率密度函数：
$$N(X|\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
隶属度：
$$E[Z_{1A}]=\frac{N(X_i|{\mu }_A,{\sigma }_A^2)}{{\sum }_{j=1}^{m}N(X_i|{\mu }_j,{\sigma }_j^2)}$$

第三步：基于软聚类重新估计高斯参数

更新增均值：
$$new{\mu }_A=\frac{{\sum }_{i=1}^{N}E[Z_{im}]X_i}{{\sum }_{i=1}^{N}E[Z_{im}]}$$
更新方差：
$$new{\sigma }^2=\frac{{\sum }_{i=1}^{N}E[Z_{iA}](X_i-new{\mu }_A)(X_i-new{\mu }_A{)}^T}{{\sum }_{i=1}^{N}E[Z_{iA}]}$$

第四步：评估对数似然来检查收敛

对数似然：
$$lnp(X|\mu ,{\sigma }^2)=\sum _{i=1}^{N}ln(\sum _{k=1}^K{\pi }_{k}N(X_i|{\mu }_k,{\sigma }_k^2)$$

2､sklearn上的GMM

from sklearn import mixture

#n_components:聚类个数
gmm = mixture.GaussianMixture(n_components=3)
gmm.fit(X_train)
clustering = gmm.predict(X_test)