K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]

K均值算法(K-means)聚类

【关键词】K个种子,均值

一、K-means算法原理

聚类的概念:一种无监督的学习,事先不知道类别,自动将相似的对象归到同一个簇中。

K-Means算法是一种聚类分析(cluster analysis)的算法,其主要是来计算数据聚集的算法,主要通过不断地取离种子点最近均值的算法。

K-Means算法主要解决的问题如下图所示。我们可以看到,在图的左边有一些点,我们用肉眼可以看出来有四个点群,但是我们怎么通过计算机程序找出这几个点群来呢?于是就出现了我们的K-Means算法

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第1张图片

这个算法其实很简单,如下图所示:

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第2张图片

从上图中,我们可以看到,A,B,C,D,E是五个在图中点。而灰色的点是我们的种子点,也就是我们用来找点群的点。有两个种子点,所以K=2。

然后,K-Means的算法如下:

  1. 随机在图中取K(这里K=2)个种子点。
  2. 然后对图中的所有点求到这K个种子点的距离,假如点Pi离种子点Si最近,那么Pi属于Si点群。(上图中,我们可以看到A,B属于上面的种子点,C,D,E属于下面中部的种子点)
  3. 接下来,我们要移动种子点到属于他的“点群”的中心。(见图上的第三步)
  4. 然后重复第2)和第3)步,直到,种子点没有移动(我们可以看到图中的第四步上面的种子点聚合了A,B,C,下面的种子点聚合了D,E)。

这个算法很简单,重点说一下“求点群中心的算法”:欧氏距离(Euclidean Distance):差的平方和的平方根

K-Means主要最重大的缺陷——都和初始值有关:

K是事先给定的,这个K值的选定是非常难以估计的。很多时候,事先并不知道给定的数据集应该分成多少个类别才最合适。(ISODATA算法通过类的自动合并和分裂,得到较为合理的类型数目K)

K-Means算法需要用初始随机种子点来搞,这个随机种子点太重要,不同的随机种子点会有得到完全不同的结果。(K-Means++算法可以用来解决这个问题,其可以有效地选择初始点)

总结:K-Means算法步骤:

  1. 从数据中选择k个对象作为初始聚类中心;
  2. 计算每个聚类对象到聚类中心的距离来划分;
  3. 再次计算每个聚类中心
  4. 计算标准测度函数,直到达到最大迭代次数,则停止,否则,继续操作。
  5. 确定最优的聚类中心

K-Means算法应用

看到这里,你会说,K-Means算法看来很简单,而且好像就是在玩坐标点,没什么真实用处。而且,这个算法缺陷很多,还不如人工呢。是的,前面的例子只是玩二维坐标点,的确没什么意思。但是你想一下下面的几个问题:

1)如果不是二维的,是多维的,如5维的,那么,就只能用计算机来计算了。

2)二维坐标点的X,Y 坐标,其实是一种向量,是一种数学抽象。现实世界中很多属性是可以抽象成向量的,比如,我们的年龄,我们的喜好,我们的商品,等等,能抽象成向量的目的就是可以让计算机知道某两个属性间的距离。如:我们认为,18岁的人离24岁的人的距离要比离12岁的距离要近,鞋子这个商品离衣服这个商品的距离要比电脑要近,等等。

二、实战

重要参数:

  • n_clusters:聚类的个数

重要属性:

  • clustercenters : [n_clusters, n_features]的数组,表示聚类中心点的坐标
  • labels_ : 每个样本点的标签

1、聚类实例

导包,使用make_blobs生成随机点cluster_std

from sklearn.cluster import KMeans

import numpy as np

import sklearn.datasets as datasets

import matplotlib.pyplot as plt
%matplotlib inline

数据集

X,y = datasets.make_blobs()
display(X.shape,y.shape)
Out:
(100, 2)
(100,)
plt.scatter(X[:,0],X[:,1],c = y)

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第3张图片

建立模型,训练数据,并进行数据预测,使用相同数据:

KMeans的原理较为简单:以某种相似性度量为标准,确定样本的结构,即样本属于哪一个簇取决于该样本与哪一个簇的中心点最相似。

K-Means类主要参数 :

  • 1) n_clusters: 即k值,一般需要多试一些值以获得较好的聚类效果。k值好坏的评估标准在下面会讲。 
  • 2)max_iter: 最大的迭代次数,一般如果是凸数据集的话可以不管这个值,如果数据集不是凸的,可能很难收敛,此时可以指定最大的迭代次数让算法可以及时退出循环。 
  • 3)n_init:用不同的初始化质心运行算法的次数。由于K-Means是结果受初始值影响的局部最优的迭代算法,因此需要多跑几次以选择一个较好的聚类效果,默认是10,一般不需要改。如果你的k值较大,则可以适当增大这个值。 
  • 4)init: 即初始值选择的方式,可以为完全随机选择’random’,优化过的’k-means++’或者自己指定初始化的k个质心。一般建议使用默认的’k-means++’。 
  • 5)algorithm:有“auto”, “full” or “elkan”三种选择。”full”就是我们传统的K-Means算法, “elkan”是(机器学习(25)之K-Means聚类算法详解)原理篇讲的elkan K-Means算法。默认的”auto”则会根据数据值是否是稀疏的,来决定如何选择”full”和“elkan”。一般数据是稠密的,那么就是 “elkan”,否则就是”full”。一般来说建议直接用默认的”auto”
'''KMeans(n_clusters=8, init='k-means++', n_init=10, max_iter=300, tol=0.0001, 
precompute_distances='auto', verbose=0, random_state=None, copy_x=True, n_jobs=1, 
algorithm='auto') '''
kmeans = KMeans(n_clusters=3)

# 无监督学习
kmeans.fit(X)
Out:
KMeans(algorithm='auto', copy_x=True, init='k-means++', max_iter=300,
    n_clusters=3, n_init=10, n_jobs=1, precompute_distances='auto',
    random_state=None, tol=0.0001, verbose=0)

y_ = kmeans.predict(X)
y_
Out:
array([2, 1, 1, 2, 0, 2, 0, 2, 2, 1, 1, 0, 2, 1, 1, 0, 0, 2, 0, 2, 0, 0,
       0, 1, 2, 0, 0, 2, 2, 0, 1, 0, 0, 0, 1, 2, 0, 0, 2, 2, 1, 1, 0, 1,
       2, 0, 1, 1, 1, 1, 0, 0, 2, 1, 2, 2, 0, 1, 0, 2, 1, 2, 1, 0, 0, 1,
       2, 1, 2, 1, 1, 2, 0, 1, 0, 0, 2, 1, 0, 0, 2, 0, 1, 1, 2, 2, 1, 1,
       1, 2, 2, 2, 1, 2, 0, 0, 2, 1, 0, 2])

无监督的情况下进行计算,预测 现在机器学习没有目标

绘制图形,显示聚类结果kmeans.cluster_centers

 

2、 实战,三问中国足球几多愁?

导包

import pandas as pd

数据集

X = pd.read_csv('../data/AsiaZoo.txt',header=None)
X

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第4张图片

导包,3D图像需导包:from mpl_toolkits.mplot3d import Axes3D
读取数据

列名修改为:"国家","2006世界杯","2010世界杯","2007亚洲杯"

X.columns = ["国家","2006世界杯","2010世界杯","2007亚洲杯"]
X

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第5张图片

 

使用K-Means进行数据处理,对亚洲球队进行分组,分三组

kmeans = KMeans(3)

kmeans.fit(X.iloc[:,1:])
Out:
KMeans(algorithm='auto', copy_x=True, init='k-means++', max_iter=300,
    n_clusters=3, n_init=10, n_jobs=1, precompute_distances='auto',
    random_state=None, tol=0.0001, verbose=0)

y_ = kmeans.predict(X.iloc[:,1:])
y_
Out:
array([0, 1, 1, 2, 2, 0, 0, 0, 2, 0, 0, 0, 2, 2, 0])

X['国家']
Out:
0         中国
1         日本
2         韩国
3         伊朗
4         沙特
5        伊拉克
6        卡塔尔
7        阿联酋
8     乌兹别克斯坦
9         泰国
10        越南
11        阿曼
12        巴林
13        朝鲜
14        印尼
Name: 国家, dtype: object

for循环打印输出分组后的球队,argwhere()

np.argwhere(y_ == 1)
Out:
array([[1],
       [2]], dtype=int64)


for i in range(3):
    index = np.argwhere(y_ == i).reshape(-1)
    
    print(X['国家'][index].values)
    print('---------------------------------------------')
['中国' '伊拉克' '卡塔尔' '阿联酋' '泰国' '越南' '阿曼' '印尼']
---------------------------------------------
['日本' '韩国']
---------------------------------------------
['伊朗' '沙特' '乌兹别克斯坦' '巴林' '朝鲜']
---------------------------------------------

绘制三维立体图形,ax = plt.subplot(projection = '3d')
ax.scatter3D()

略……

 

3、聚类实践与常见错误

第一种错误:k值不合适,make_blobs默认中心点三个

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第6张图片

 

第二种错误:数据偏差
trans = [[0.6,-0.6],[-0.4,0.8]]
X2 = np.dot(X,trans)

trans = [[0.6,-0.6],[-0.4,0.8]]
X2 = np.dot(X,trans)
X2.shape
Out:(100, 2)

# y.shape=(100,)
plt.scatter(X2[:,0],X2[:,1],c = y)

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第7张图片

kmeans = KMeans(3)
kmeans.fit(X2)
y_ = kmeans.predict(X2)
plt.scatter(X2[:,0],X2[:,1],c = y_)

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第8张图片

X2 = X点乘trans
X2点乘trans逆矩阵

X3 = np.dot(X2,np.linalg.inv(trans))

plt.scatter(X3[:,0],X3[:,1],c = y)

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第9张图片

第三个错误:标准偏差不相同cluster_std

X,y = datasets.make_blobs(cluster_std=[1.0,1.0,8])
plt.scatter(X[:,0],X[:,1],c = y)

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第10张图片

kmeans = KMeans(3)
kmeans.fit(X)
y_ = kmeans.predict(X)
plt.scatter(X[:,0],X[:,1],c = y_)

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第11张图片

第四个错误:样本数量不同

X,y = datasets.make_blobs(n_samples=300,cluster_std=3)
plt.scatter(X[:,0],X[:,1],c = y)

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第12张图片

index_0 = np.argwhere(y == 0).reshape(-1)
index_0
Out:
array([  4,   5,   9,  11,  12,  13,  16,  18,  20,  22,  23,  24,  25,
        29,  33,  34,  40,  41,  44,  48,  52,  55,  58,  63,  65,  67,
        68,  72,  73,  74,  75,  79,  80,  85,  87,  88,  94, 102, 105,
       113, 118, 130, 134, 136, 138, 140, 143, 150, 151, 152, 154, 166,
       171, 173, 175, 176, 178, 179, 180, 185, 192, 201, 203, 206, 207,
       208, 212, 213, 215, 219, 222, 225, 226, 230, 231, 233, 234, 236,
       237, 244, 248, 250, 251, 254, 257, 261, 262, 264, 265, 270, 277,
       279, 280, 283, 286, 287, 289, 297, 298, 299], dtype=int64)

index_1 = np.argwhere(y == 1).reshape(-1)[:20]
index_1
Out:
array([ 0,  1,  7, 10, 15, 27, 28, 36, 38, 42, 45, 47, 54, 61, 62, 78, 82,
       83, 86, 89], dtype=int64)

index_2 = np.argwhere(y ==2).reshape(-1)[:10]
index_2
Out:
array([ 2,  3,  6,  8, 14, 17, 19, 21, 26, 30], dtype=int64)

index = np.concatenate([index_0,index_1,index_2])

X = X[index]
y = y[index]

plt.scatter(X[:,0],X[:,1],c = y)

 

kmeans = KMeans(3)
kmeans.fit(X)
y_ = kmeans.predict(X)
plt.scatter(X[:,0],X[:,1],c = y_)

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第13张图片

 

4、K-Means图片颜色点分类

导包from sklearn.metrics import pairwise_distances_argmin

from scipy import ndimage

压缩:ndimage.zoom

# ndimage.zoom(input, zoom, output=None, order=3, mode='constant', cval=0.0, prefilter=True)
china_new2 = ndimage.zoom(china_new,zoom = [427/1500,640/1500,1])
plt.imshow(china_new2)

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第14张图片

 

2、图片压缩

使用聚类压缩图片

img = plt.imread('../data/bird_small.png') img_shape = img.shape img_shape

bird = plt.imread('../data/bird_small.png')
bird.shape
Out:(128,128,3)
'''128*128=16384'''

bird.reshape(-1,3) 
Out:
array([[0.85882354, 0.7058824 , 0.40392157],
       [0.9019608 , 0.7254902 , 0.45490196],
       [0.8862745 , 0.7294118 , 0.43137255],
       ...,
       [0.25490198, 0.16862746, 0.15294118],
       [0.22745098, 0.14509805, 0.14901961],
       [0.20392157, 0.15294118, 0.13333334]], dtype=float32)

plt.imshow(bird)

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第15张图片

from pandas import Series,DataFrame
df = DataFrame(bird.reshape(-1,3))
df
'''df[0].shape =(16384,) '''


df.drop_duplicates().shape
Out :
(13930, 3)
'''16384个像素值,包含13930个不同的颜色'''

kmeans

kmeans = KMeans(n_clusters=4)

# 16384颜色
kmeans.fit(bird.reshape(-1,3))
Out:
KMeans(algorithm='auto', copy_x=True, init='k-means++', max_iter=300,
    n_clusters=4, n_init=10, n_jobs=1, precompute_distances='auto',
    random_state=None, tol=0.0001, verbose=0)

预测

y_ = kmeans.predict(bird.reshape(-1,3))
y_
Out:
array([0, 0, 0, ..., 1, 1, 1])

y_.shape
Out:(16384,)

y_.max()
Out: 3

聚类中心点代表着颜色

# 聚类中心点代表着颜色
cluster_centers_ = kmeans.cluster_centers_
cluster_centers_
Out:
array([[0.7932539 , 0.63968104, 0.42075178],
       [0.12838763, 0.13014919, 0.12066123],
       [0.48904994, 0.40076178, 0.3222613 ],
       [0.9130492 , 0.86011744, 0.74095654]], dtype=float32)

cluster_centers_[0]
Out:array([0.7932539 , 0.63968104, 0.42075178], dtype=float32)

cluster_centers_[[0,1,2,1,0]]
Out:
array([[0.7932539 , 0.63968104, 0.42075178],
       [0.12838763, 0.13014919, 0.12066123],
       [0.48904994, 0.40076178, 0.3222613 ],
       [0.12838763, 0.13014919, 0.12066123],
       [0.7932539 , 0.63968104, 0.42075178]], dtype=float32)

 

Series(y_).unique()
Out :
array([3, 0, 2, 1], dtype=int64)

bird_new = cluster_centers_[y_]
bird_new.shape
Out:
(16384, 3)

plt.imshow(bird_new.reshape(128,128,3))

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]_第16张图片

 

你可能感兴趣的:(算法实例)