数据挖掘之K-means聚类算法

实验七、数据挖掘之K-means聚类算法

一、实验目的

1. 理解K-means聚类算法的基本原理

2. 学会用python实现K-means算法

二、实验工具

1. Anaconda

2. sklearn

3. matplotlib

三、实验简介

1 K-means算法简介

k-means算法是一种聚类算法,所谓聚类,即根据相似性原则,将具有较高相似度的数据对象划分至同一类簇,将具有较高相异度的数据对象划分至不同类簇。聚类与分类最大的区别在于,聚类过程为无监督过程,即待处理数据对象没有任何先验知识,而分类过程为有监督过程,即存在有先验知识的训练数据集。

2 K-means算法原理

k-means算法中的k代表类簇个数,means代表类簇内数据对象的均值(这种均值是一种对类簇中心的描述),因此,k-means算法又称为k-均值算法。k-means算法是一种基于划分的聚类算法,以距离作为数据对象间相似性度量的标准,即数据对象间的距离越小,则它们的相似性越高,则它们越有可能在同一个类簇。数据对象间距离的计算有很多种,k-means算法通常采用欧氏距离来计算数据对象间的距离

四、实验内容

1. 随机生成100个数,并对这100个数进行k-mean聚类(k=3,4,5,6)(并用matplot画图)

  • 数字聚类不是很明显看出效果
    数据挖掘之K-means聚类算法_第1张图片
import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
%matplotlib inline
#可以内嵌绘图
from sklearn.datasets.samples_generator import make_blobs
def distEclud(arrA,arrB): #欧氏距离
    d = arrA - arrB
    dist = np.sum(np.power(d,2),axis=1) #差的平方的和
    return dist
def randCent(dataSet,k): #寻找质心
    n = dataSet.shape[1] #列数
    data_min = dataSet.min()
    data_max = dataSet.max()
    #生成k行n列处于data_min到data_max的质心
    data_cent = np.random.uniform(data_min,data_max,(k,n))
    return data_cent
def kMeans(dataSet,k,distMeans = distEclud, createCent = randCent):
    x,y = make_blobs(centers=100)#生成k质心的数据
    x = pd.DataFrame(x)
    m,n = dataSet.shape
    centroids = createCent(dataSet,k) #初始化质心,k即为初始化质心的总个数
    clusterAssment = np.zeros((m,3)) #初始化容器
    clusterAssment[:,0] = np.inf #第一列设置为无穷大
    clusterAssment[:,1:3] = -1 #第二列放本次迭代点的簇编号,第三列存放上次迭代点的簇编号
    result_set = pd.concat([pd.DataFrame(dataSet), pd.DataFrame(clusterAssment)],axis = 1,ignore_index = True)
    #将数据进行拼接,横向拼接,即将该容器放在数据集后面
    clusterChanged = True 
    while clusterChanged:
        clusterChanged = False
        for i in range(m):
            dist = distMeans(dataSet.iloc[i,:n].values,centroids) #计算点到质心的距离(即每个值到质心的差的平方和)
            result_set.iloc[i,n] = dist.min() #放入距离的最小值
            result_set.iloc[i,n+1] = np.where(dist == dist.min())[0] #放入距离最小值的质心标号
        clusterChanged = not (result_set.iloc[:,-1] == result_set.iloc[:,-2]).all()
        if clusterChanged:
            cent_df = result_set.groupby(n+1).mean()  #按照当前迭代的数据集的分类,进行计算每一类中各个属性的平均值
            centroids = cent_df.iloc[:,:n].values #当前质心
            result_set.iloc[:,-1] = result_set.iloc[:,-2] #本次质心放到最后一列里
    return centroids, result_set
    
  • 于是我用了100个随机点
x = np.random.randint(0,100,size=100)
y = np.random.randint(0,100,size=100)
randintnum=pd.concat([pd.DataFrame(x), pd.DataFrame(y)],axis = 1,ignore_index = True)
randintnum_test, randintnum_test = kMeans(randintnum,3)
plt.scatter(randintnum_test.iloc[:,0],randintnum_test.iloc[:,1],c=randintnum_test.iloc[:,-1])

数据挖掘之K-means聚类算法_第2张图片

  • 最为明显的是通过百度的函数make_blobs最为明显,这也是专门生成聚类数据的函数
plt.scatter(result_test.iloc[:,0],result_test.iloc[:,1],c=result_test.iloc[:,-1])
plt.scatter(cent_test[:,0],cent_test[:,1],color = 'red',marker = 'x',s=100)

数据挖掘之K-means聚类算法_第3张图片
数据挖掘之K-means聚类算法_第4张图片
数据挖掘之K-means聚类算法_第5张图片
数据挖掘之K-means聚类算法_第6张图片

2. 对鸢尾花数据进行K-means算法聚类(并用matplot画图)。

import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
%matplotlib inline   
#可以内嵌绘图
#导入数据集
from sklearn.datasets import load_iris
iris_dataset=load_iris()
data=iris_dataset['data']  #获取鸢尾花数据集
label=iris_dataset['target']  #获取标签列表
data=pd.DataFrame(data) #从array转换成DataFrame形式
label = pd.DataFrame(label)
def distEclud(arrA,arrB): #欧氏距离
    d = arrA - arrB
    dist = np.sum(np.power(d,2),axis=1) #差的平方的和
    return dist
def randCent(dataSet,k): #寻找质心
    n = dataSet.shape[1] #列数
    data_min = dataSet.min()
    data_max = dataSet.max()
    #生成k行n列处于data_min到data_max的质心
    data_cent = np.random.uniform(data_min,data_max,(k,n))
    return data_cent
def kMeans(dataSet,k,distMeans = distEclud, createCent = randCent):
    m,n = dataSet.shape
    centroids = createCent(dataSet,k) #初始化质心,k即为初始化质心的总个数
    clusterAssment = np.zeros((m,3)) #初始化容器
    clusterAssment[:,0] = np.inf #第一列设置为无穷大
    clusterAssment[:,1:3] = -1 #第二列放本次迭代点的簇编号,第三列存放上次迭代点的簇编号
    result_set = pd.concat([pd.DataFrame(data),pd.DataFrame(label), pd.DataFrame(clusterAssment)],axis = 1,ignore_index = True)
    #将数据进行拼接,横向拼接,即将该容器放在数据集后面
    clusterChanged = True 
    while clusterChanged:
        clusterChanged = False
        for i in range(m):
            dist = distMeans(dataSet.iloc[i,:n].values,centroids) #计算点到质心的距离(即每个值到质心的差的平方和)
            result_set.iloc[i,n+1] = dist.min() #放入距离的最小值
            result_set.iloc[i,n+2] = np.where(dist == dist.min())[0] #放入距离最小值的质心标号
        clusterChanged = not (result_set.iloc[:,-1] == result_set.iloc[:,-2]).all()
        if clusterChanged:
            cent_df = result_set.groupby(n+2).mean()  #按照当前迭代的数据集的分类,进行计算每一类中各个属性的平均值
            centroids = cent_df.iloc[:,:n].values #当前质心
            result_set.iloc[:,-1] = result_set.iloc[:,-2] #本次质心放到最后一列里
    return centroids, result_set
iris_cent,iris_result = kMeans(data, 4)
from mpl_toolkits.mplot3d import Axes3D
ax = plt.subplot(111, projection='3d')
ax.scatter(iris_cent[:,0],iris_cent[:,1],iris_cent[:,2],color = 'red',marker = 'x',s=100)
ax.scatter(iris_result.iloc[:,0],iris_result.iloc[:,1],iris_result.iloc[:,2],c=iris_result.iloc[:,-1],alpha=0.5)

聚成四类之后

  • 最终质心
    数据挖掘之K-means聚类算法_第7张图片
  • 形成的数据表,0-4列为鸢尾花数据,第五列为每个值到质心的差的平方和,六七列为本次和上次的分类属性
    数据挖掘之K-means聚类算法_第8张图片
  • 类别统计
    数据挖掘之K-means聚类算法_第9张图片
  • SSE
    image.png
  • 划分为四类的3D图
    数据挖掘之K-means聚类算法_第10张图片

五、实验总结(写出本次实验的收获,遇到的问题等)

对于groupby函数一开始怎么也不明白,搜索之后看到一个图便十分明了

聚类步骤即先随机定义k个点(质心),然后遍历每个点,对每个质心计算质心与数据点之间的距离,将数据点分配到据其最近的簇对每个簇。一轮下来后计算簇中所有点的均值并将均值作为新的质心,循环进行直到簇不再发生变化或者达到最大迭代次数或者很少变化。
另外在数据类型的问题上困扰了好久,比如iloc的使用,以及array与dataFrame的转化方法
在3D画图中质心会被较密的点掩盖

你可能感兴趣的:(python,聚类,数据挖掘)