机器学习—无监督学习(一)KMeans聚类

机器学习—无监督学习(一)KMeans聚类


文章目录

  • 机器学习---无监督学习(一)KMeans聚类
  • 前言
  • 一、无监督学习?
  • 二、用k-均值进行相似性分组
    • 1、什么是基于原型的聚类?
    • 2.k-均值算法流程
    • 3.度量对象之间相似性
  • 三、利用Python简单实现k-均值算法:
    • 1.导入数据:
    • 2、利用肘部方法(elbow)确定集群数量K
    • 3、对数据集进行聚类
  • 写在最后
  • Reference


前言

最近在学习python机器学习,做了几个相关的比赛正好专业也有相关的课程。在浅浅记录一下学习的过程,和大家分享,欢迎大家批评指正啦!


提示:以下是本篇文章正文内容,下面案例仅供参考

一、无监督学习?

无监督学习意味着数据集只包含一个部分:描述对象/事件的特征向量。 如果没有真实标签,我们希望使用样本之间的相似性对数据进行聚类,以最小化类内差距并最大化类间差距。 一般来说,在实际应用中,很多情况下,样本的标签是无法提前知道的,也就是说训练样本没有对应的类别,所以分类器设计只能从原始样本集中学习 没有样品标签。。

二、用k-均值进行相似性分组

聚类是一种能够找到相似对象的一种分析方法,例如在爱奇艺中对不同的电影主题进行分组;或者通过顾客的购物清单发现有相同兴趣的客户。找到实物的内在联系,在茫茫人海中发现你,即为聚类;

k-均值算法是无监督聚类算法中的经典之作,也是目前较热的无监督学习算法。其算法极易实现、计算效率较高,属于基于原型聚类的范畴

1、什么是基于原型的聚类?

基于原型的聚类呢?顾名思义,意味着每一个类相应的都对应一个原型。那么问题接踵而至,什么是原型?(怎么这么多问题!!!)我们刚才提到无监督学习的training dataset中只包含描述对象/事件的特征向量,所以那原型就是每一类中最能代表此类特征的特征。对于连续特征而言,原型为平均值,而对于分类的离散特征而言,则为类中心——最能代表此类的特征点。k-均值算法擅长识别球型集群:
机器学习—无监督学习(一)KMeans聚类_第1张图片
但需要指出的是:k-均值算法是先验算法,所以在使用前需要指出集群数K。K值得选择将很大程度上决定了其算法的聚类性能,在下面得示例演示中我会简单使用一种elbow方法来评估和确定集群上数目K。

2.k-均值算法流程

1)随机从样本中挑选k个质心作为初始集群质心(elbow或silhouette plot);
2)将每个样本分配到最近得质心;
3)把质心移到已分配样本的中央;
4)重复步骤2、3,直到集群赋值不再改变,或者tol值或最大迭代次数达到最大;

3.度量对象之间相似性

既然聚类的任务是把具有相似特征的事件或物品分为一类,那么如何确定数据之间的相似性呢?

这里,我们可以把相似性定义为特征间距离的倒数。对于m维空间中x和y两点之间的常用距离是其两点间欧式距离的平方
特征间距离的倒数
基于欧式距离度量,我们可以将k-means算法描述为一种简单的优化问题,是一种最小化群内的SSE的迭代方法,也被称为惯性集群(cluster inertia):
机器学习—无监督学习(一)KMeans聚类_第2张图片
对于样本Xi,如果其在集群j中,则令w(i,j) = 1,否则为0;
接下来,我们将采用scikit-learn cluster模块对KMeans算法进行简单应用;

三、利用Python简单实现k-均值算法:

1.导入数据:

为了方便可视化分析,利用sklearn datasets模块随机创建一个二维数据集:

from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt
X,y = make_blobs(n_samples = 3000,n_features = 2,centers = 4,cluster_std = 0.6,shuffle = True,random_state = 0)# 创建随机数据集

对于初始数据集我们利用matplotlib对数据集分布有一个初步的印象:

plt.scatter(X[:,0],X[:,1],c = 'lightblue', marker= 'o',edgecolors='black',s = 50)
plt.grid()
plt.tight_layout()
plt.savefig("CSDN_KMEANS初始数据集.png")plt.scatter(X[y_km == 0,0],X[y_km == 0,1],s = 50, c = 'lightgreen', marker= 's',edgecolors='black',label = 'Cluster1')
plt.scatter(X[y_km == 1,0],X[y_km == 1,1],s = 50, c = 'lightblue', marker= 'o',edgecolors='black',label = 'Cluster2')
plt.scatter(X[y_km == 2,0],X[y_km == 2,1],s = 50, c = 'orange', marker= 'v',edgecolors='black',label = 'Cluster3')
plt.scatter(X[y_km == 3,0],X[y_km == 3,1],s = 50, c = 'purple', marker= 'x',edgecolors='black',label = 'Cluster4')
plt.scatter(km.cluster_centers_[:,0],km.cluster_centers_[:,1],s = 200, c = 'red', marker= '*',edgecolors='black',label = 'Centroids')
plt.legend(scatterpoints = 1)
plt.grid()
plt.tight_layout()
# plt.savefig('CSDN-Cluster_results.png')
plt.show()
plt.show()

机器学习—无监督学习(一)KMeans聚类_第3张图片
通过初步印象,认为n_cluster = 4 应该是一个不错的选择,但是这是依靠经验而谈,缺少数据的支撑接下来看看对于此简单二维数据,如何确定其集群数K。

2、利用肘部方法(elbow)确定集群数量K

作为无监督分类的最大挑战及和K-均值聚类之间最大的矛盾在于k-均值是一种先验算法,需要率先知道K值的大小,因此我们需要一个可以确定其聚类性能的指标,在这里我们用到的是前文提到的SSE(集群内失真)来比较不同K值下的聚类性能;

对于scikit-learn中可以通过调用KMeans中的intertia_来访问SSE,不需要自定义计算:
简言之,如果k增大,失真会减小;而肘部方法就是利用此寻找失真增速最快的k值,因此绘制不同k值下的失真图就会更加直观的挑选合适的k值:

from sklearn.cluster import KMeans
distortions = []
for i in range(1,11):
    km = KMeans(n_clusters=i,init='random',n_init=10,max_iter=300,tol=1e-04,random_state=0)
    km= KMeans(n_clusters=i)
    km.fit(X)
    distortions.append(km.inertia_)
plt.plot(range(1,11),distortions,marker = 'o')
plt.xlabel('number of clusters')
plt.ylabel('Disortion')
plt.tight_layout()
plt.savefig('CSDN-elbow_figure.png')plt.scatter(X[y_km == 0,0],X[y_km == 0,1],s = 50, c = 'lightgreen', marker= 's',edgecolors='black',label = 'Cluster1')
plt.scatter(X[y_km == 1,0],X[y_km == 1,1],s = 50, c = 'lightblue', marker= 'o',edgecolors='black',label = 'Cluster2')
plt.scatter(X[y_km == 2,0],X[y_km == 2,1],s = 50, c = 'orange', marker= 'v',edgecolors='black',label = 'Cluster3')
plt.scatter(X[y_km == 3,0],X[y_km == 3,1],s = 50, c = 'purple', marker= 'x',edgecolors='black',label = 'Cluster4')
plt.scatter(km.cluster_centers_[:,0],km.cluster_centers_[:,1],s = 200, c = 'red', marker= '*',edgecolors='black',label = 'Centroids')
plt.legend(scatterpoints = 1)
plt.grid()
plt.tight_layout()
# plt.savefig('CSDN-Cluster_results.png')
plt.show()
plt.show()

结果如图:机器学习—无监督学习(一)KMeans聚类_第4张图片
显然n = 4是一个不错的选择,对于不断增加的K虽然其值仍在减小,但是变化不大,反而会出现其他error,因此,我们选择 K = 4;

3、对数据集进行聚类

扫除了最大的K-均值算法中最大的障碍,下面我们对上述数据集进行聚类:

km = KMeans(n_clusters=4,init='random',n_init=10,max_iter=300,tol=1e-04,random_state=0)
y_km = km.fit_predict(X)

利用matplotlib画出聚类结果:

plt.scatter(X[y_km == 0,0],X[y_km == 0,1],s = 50, c = 'lightgreen', marker= 's',edgecolors='black',label = 'Cluster1')
plt.scatter(X[y_km == 1,0],X[y_km == 1,1],s = 50, c = 'lightblue', marker= 'o',edgecolors='black',label = 'Cluster2')
plt.scatter(X[y_km == 2,0],X[y_km == 2,1],s = 50, c = 'orange', marker= 'v',edgecolors='black',label = 'Cluster3')
plt.scatter(X[y_km == 3,0],X[y_km == 3,1],s = 50, c = 'purple', marker= 'x',edgecolors='black',label = 'Cluster4')
plt.scatter(km.cluster_centers_[:,0],km.cluster_centers_[:,1],s = 200, c = 'red', marker= '*',edgecolors='black',label = 'Centroids')
plt.legend(scatterpoints = 1)
plt.grid()
plt.tight_layout()
# plt.savefig('CSDN-Cluster_results.png')
plt.show()

机器学习—无监督学习(一)KMeans聚类_第5张图片

写在最后

当然,K-Means算法只是在无监督学习聚类算法中较为常见的一种方法,后续还会更新其他的聚类方法,更高维数据的聚类方法等。希望小伙伴们一起学习一起进步呀!!!!冲冲冲!!!!

Reference

【1】Sebastian Raschka, Vahid Mirjalili Python Machine Learning /third edition/

你可能感兴趣的:(机器学习,聚类,机器学习,学习,kmeans,python)