【Python机器学习】模型聚类高斯混合模型GMM讲解及实战演示（附源码 超详细）

需要源码和数据集请点赞关注收藏后评论留言私信~~~

模型聚类

模型（Model）聚类假定每个簇符合一个分布模型，通过找到这个分布模型，就可以对样本点进行分簇。

在机器学习领域，这种先假定模型符合某种概率分布（或决策函数），然后在学习过程中学习到概率分布参数（或决策函数参数）的最优值的模型，称为参数学习模型。

模型聚类主要包括概率模型和神经网络模型两大类，前者以高斯混合模型（Gaussian Mixture Models，GMM）为代表，后者以自组织映射网络（Self Organizing Map，SOM）为代表。

高斯混合模型GMM

记随机变量X服从含有未知变量τ=(μ,σ^2)的高斯分布，其概率密度为：

高斯混合模型P(├ x|θ)是多个高斯分布混合的模型：

 

式中，K是混合的高斯分布的总数，τ_i是第i个高斯分布的未知变量，记τ=(τ_1,τ_2,…,τ_K)。α_i是第i个高斯分布的混合系数，α_i>0，∑▒α_i=1，α_i可看作概率值，记α=(α_1,α_2,…,α_K)。记θ=(α，τ)。

将高斯混合模型用于聚类任务时，认为样本是由P(├ x|θ)产生的，产生的过程是先按概率α选择一个高斯分布f(├ x|τ_j)，再由该高斯分布生成样本。

由同一高斯分布产生的样本属于同一簇，即高斯混合模型中的高斯分布与聚类的簇一一对应。

在分簇过程中，算法的任务是从训练集中学习到模型参数θ=(α，τ)，在分配过程，模型计算测试样本由每个高斯分布产生的概率，取最大概率对应的高斯分布的簇作为分配的簇。

以（0，0）和（10，10）为中心，以1.2和1.8为标准差，分别生成两个簇。

本次示例中，生成的两个簇是完全间隔开的，观察模型学习到的均值和方差是非常小的，由此可见误差比较小

 

 代码如下

X1, y1 = make_blobs(n_samples=300, n_features=2, centers=[[0,0]], cluster_std=[1.2])
X2, y2 = make_blobs(n_samples=600, n_features=2, centers=[[3,3]], cluster_std=[1.8])
plt.scatter(X1[:, 0], X1[:, 1], marker='o', color='r')
plt.scatter(X2[:, 0], X2[:, 1], marker='+', color='b')
plt.show()

下面是将两个簇的一部分重合的效果

这次均值和协方差都变大了很多，由此可见 高斯混合聚类对重合部分的点并不能很好的预测，分簇结果有一条明显的分界线，该分界线是两个模型计算概率值相等的地方

下面对txt文件中的点的坐标进行高斯混合聚类分析的效果如下

代码如下

from sklearn.mixture import GaussianMixture
import numpy as np
samples = np.loadtxt("kmeansSamples.txt")
gm = GaussianMixture(n_components=2, random_state=0).fit(samples)
labels = gm.predict(samples)
import matplotlib.pyplot as plt
plt.scatter(samples[:,0],samples[:,1],c=labels+1.5,linewidths=np.power(labels+1.5, 2))
plt.show()

 创作不易 觉得有帮助请点赞关注收藏~~~