python机器学习之聚类算法K-Means——案例：聚类算法用于降维，KMeans的矢量量化应用

聚类算法用于降维，KMeans的矢量量化应用

重要属性：

重要接口：

案例

矢量量化的降维是在同等样本量上压缩信息的大小，即不改变特征的数目也不改变样本的数目，只改变在这些特征下的样本上的信息量。

用K-Means聚类中获得的质心来替代原有的数据，可以把数据上的信息量压缩到非常小，但又不损失太多信息。我们接下来就通过一张图图片的矢量量化来看一看K-Means如何实现压缩数据大小，却不损失太多信息量。

1、导入需要的库

import numpy as np
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.metrics import pairwise_distances_argmin
    #对两个序列中的点进行距离匹配的函数
from sklearn.datasets import load_sample_image
    #导入图片数据所用的类
from sklearn.utils import shuffle #洗牌

2、导入数据，探索数据

导入数据：

# 实例化，导入颐和园的图片
china = load_sample_image("china.jpg")
china

查看数据：

#查看数据类型
china.dtype

china.shape
#长度 x 宽度 x 像素 > 三个数决定的颜色

china[0][0]

#包含多少种不同的颜色?
newimage = china.reshape((427 * 640,3))
newimage.shape

数据去重：

import pandas as pd
pd.DataFrame(newimage).drop_duplicates().shape

#我们现在有9W多种颜色

图像可视化：

# 图像可视化
plt.figure(figsize=(15,15))
plt.imshow(china) #导入3维数组形成的图片

导入另一张图片：

#查看模块中的另一张图片
flower = load_sample_image("flower.jpg")
plt.figure(figsize=(15,15))
plt.imshow(flower)

图像探索完毕，我们了解了，图像现在有9W多种颜色。我们希望来试试看，能否使用K-Means将颜色压缩到64种，还不严重损耗图像的质量。为此，我们要使用K-Means来将9W种颜色聚类成64类，然后使用64个簇的质心来替代全部的9W种颜色，记得质心有着这样的性质：簇中的点都是离质心最近的样本点。

为了比较，我们还要画出随机压缩到64种颜色的矢量量化图像。我们需要随机选取64个样本点作为随机质心，计算原数据中每个样本到它们的距离来找出离每个样本最近的随机质心，然后用每个样本所对应的随机质心来替换原本的样本。两种状况下，我们观察图像可视化之后的状况，以查看图片信息的损失。

3、决定超参数，数据预处理

将数据维度数量保存，并将数据降维：

n_clusters = 64

china = np.array(china, dtype=np.float64) / china.max()
w, h, d = original_shape = tuple(china.shape)
assert d == 3
image_array = np.reshape(china, (w * h, d))

#plt.imshow在浮点数上表现非常优异，在这里我们把china中的数据，转换为浮点数，压缩到[0,1]之间
china = np.array(china, dtype=np.float64) / china.max()
(china < 0).sum()

解释上述中的命令含义：

#把china从图像格式，转换成矩阵格式
w, h, d = original_shape = tuple(china.shape)

assert d == 3

#assert相当于 raise error if not，表示为，“不为True就报错”
#要求d必须等于3，如果不等于，就报错

image_array = np.reshape(china, (w * h, d)) #reshape是改变结构
image_array

reshape：

#np.reshape(a, newshape, order='C'), reshape函数的第一个参数a是要改变结构的对象，第二个参数是要改变的新结构
#展示np.reshape的效果

a = np.random.random((2,4))
a.shape
a.reshape((4,2)) == np.reshape(a,(4,2))
np.reshape(a,(8,1))

4、对数据进行K-Means的矢量量化

找出质心：

#首先，先使用1000个数据来找出质心
image_array_sample = shuffle(image_array, random_state=0)[:1000]
kmeans = KMeans(n_clusters=n_clusters, random_state=0).fit(image_array_sample)

kmeans.cluster_centers_.shape

对数据进行聚类：

#找出质心之后，按照已存在的质心对所有数据进行聚类
labels = kmeans.predict(image_array)
labels.shape
set(labels)

用质心替换样本：

#使用质心来替换所有的样本
image_kmeans = image_array.copy()

image_kmeans #27W个样本点，9W多种不同的颜色（像素点）

labels #这27W个样本点所对应的簇的质心的索引

kmeans.cluster_centers_[labels[0]]

for i in range(w*h):
    image_kmeans[i] = kmeans.cluster_centers_[labels[i]]
#查看生成的新图片信息
image_kmeans.shape

pd.DataFrame(image_kmeans).drop_duplicates().shape

恢复图片结构：

#恢复图片的结构
image_kmeans = image_kmeans.reshape(w,h,d)
image_kmeans.shape

5、对数据进行随机的矢量量化

centroid_random = shuffle(image_array, random_state=0)[:n_clusters]
centroid_random.shape

labels_random = pairwise_distances_argmin(centroid_random,image_array,axis=0)

#函数pairwise_distances_argmin(x1,x2,axis) #x1和x2分别是序列
#用来计算x2中的每个样本到x1中的每个样本点的距离，并返回和x2相同形状的，x1中对应的最近的样本点的索引
labels_random.shape

使用随机数质心替换样本：

#使用随机质心来替换所有样本
image_random = image_array.copy()

for i in range(w*h):
    image_random[i] = centroid_random[labels_random[i]]

恢复结构：

#恢复图片的结构
image_random = image_random.reshape(w,h,d)
image_random.shape

6、将原图，按KMeans矢量量化和随机矢量量化的图像绘制出来

plt.figure(figsize=(10,10))#画布大小
plt.axis('off')#不要坐标
plt.title('Original image (96,615 colors)')#标题
plt.imshow(china)#显示图片

plt.figure(figsize=(10,10))
plt.axis('off')
plt.title('Quantized image (64 colors, K-Means)')
plt.imshow(image_kmeans)

plt.figure(figsize=(10,10))
plt.axis('off')
plt.title('Quantized image (64 colors, Random)')
plt.imshow(image_random)
plt.show()

可以发现，用聚类的时候是楼有颜色，天空比较像素低，用随机质心的时候楼颜色比较暗淡，整体来看，还是看着聚类的时候区别不是很大。

单独对比：

原图与聚类：

原图与随机：

聚类和随机：

区别还是蛮大的。