机器学习算法——聚类算法

1. 概述

聚类算法是一种无监督学习方法，用于将数据集中的对象分组或聚集成具有相似特征的集合，该集合被称为簇(cluster)。聚类算法通过计算数据点之间的相似性或距离，将相似的数据点归为同一簇，使簇内差距最小化，簇间差距最大化，从而将数据集划分为多个互相区分的组。聚类算法的目标是在无标签的情况下，发现数据中的内在结构和模式。聚类算法可以发现数据中的隐藏模式、异常值或离群点，以及进行数据预处理和可视化。

2. K-MEANS算法

算法思想：以空间中的 K 个点为中心进行聚类，对最靠近他们的对象进行归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。

2.1 工作流程

1. 先从没有标签的元素集合 A 中随机取 K 个元素，作为 K 个簇各自的质心。
2. 分别计算剩下的元素到 K 个簇的质心的距离（可以使用欧氏距离），根据距离将这些元素划归到最近的簇。
3. 根据聚类结果，重新计算质心（计算子集中所有元素各个维度的算数平均数）。
4. 将集合 A 中所有元素按照新计算的质心重新进行聚类。
5. 重复第3-4步，直到所有质心不再发生变化。

2.2 代码实践

from sklearn.cluster import KMeans
import numpy as np
import matplotlib.pyplot as plt

# 载入数据，以空格分隔数据
data = np.genfromtxt("kmeans.txt", delimiter=" ")
# 训练模型，设置4个聚类中心
model = KMeans(n_clusters=4)
model.fit(data)
# 聚类中心点坐标
centers = model.cluster_centers_
# 预测结果，也可以通过model.labels_查看模型中各样本点的类别
result = model.predict(data)

# 用不同颜色表示类别
mark = ['or', 'ob', 'og', 'oy']

# enumerate用于在迭代过程中同时获取元素的索引和值
for i,d in enumerate(data):
    plt.plot(d[0], d[1], mark[result[i]])

# 画出各个聚类的中心点
mark = ['*r', '*b', '*g', '*y']
for i,center in enumerate(centers):
    plt.plot(center[0], center[1], mark[i], markersize=20)

# 获取数据值所在的范围，这里的+1、-1是为了不让样本点出现在边框上
# 获取数据值所在的范围
x_min, x_max = data[:, 0].min() - 1, data[:, 0].max() + 1
y_min, y_max = data[:, 1].min() - 1, data[:, 1].max() + 1

# 生成网格矩阵元素
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                     np.arange(y_min, y_max, 0.02))

#--------------------------------------------------------#
# 预测分类结果
# ravel()：将多为数据展平为一维数据
# np.c_：按列连接两个数组，即拼接成点的坐标的形式
# contourf(xx, yy, z)：创建填充等高线图，参数需为二维数组
#--------------------------------------------------------#
z = model.predict(np.c_[xx.ravel(), yy.ravel()])
z = z.reshape(xx.shape)
cs = plt.contourf(xx, yy, z)

# 绘制样本点
mark = ['or', 'ob', 'og', 'oy']
for i,d in enumerate(data):
    plt.plot(d[0], d[1], mark[result[i]])

# 绘制各个聚类的中心点
mark = ['*r', '*b', '*g', '*y']
for i,center in enumerate(centers):
    plt.plot(center[0],center[1], mark[i], markersize=20)