Python机器学习--聚类算法--K-means(K-均值）算法

K-means算法的类型与介绍

无监督学习的聚类算法；

聚类算法是无监督的一种算法、K-means是一种聚类算法；

K-means算法的定义

所谓聚类问题，就是给定一个元素集合D，其中每个元素具有n个可观察属性，使用某种算法将D划分成K个子集，要求每个子集内部的元素之间相似度尽可能的高，而不同子集的元素相似度尽可能的低。其中每个子集叫做一个簇。聚类目的：类内相似、类间相异

聚类算法与分类算法不同，分类是示例式学习，要求分类前明确各个类别，并断言每个元素映射到一个类别，而聚类是观察式学习，在聚类前可以不知道类别甚至不给定类别数量，是无监督学习的一种

K-means算法应用场景

在商务上，聚类能帮助市场分析人员从客户基本库中发现不同的客户群，并且用不同的购买模式来刻画不同的消费群体的特征

K-means算法的原理

1. 从数据集D中随机取K个元素，作为K个簇类各自的中心（质心）
2. 分别计算剩下的元素和k个聚类中心的相似度（计算距离，越近就是 相似度越高），并将其归属为最相似的簇
3. 根据聚类结果，重新划分聚类中心，计算方法是取簇中所有元素各自维度的算术平均数。
4. 重复2-3步骤，直到满足停止条件
   
   停止条件为：1. 聚类结果几乎不再发生变化；2. 达到一定的迭代次数

K-means算法的特点

1. 需要自定义K值
2. 数据如果有量纲的影响，需要进行数据标准化
3. 受异常值的影响（如果存在异常点，通常会自成一类）
4. 会收敛于局部最优（随机初始化的聚类中心，导致结果无法达到全局最优）
   衡量聚类效果：观察每个样本到各自聚类中心的距离的和
   
   K-means算法之前考虑：是否有异常值、是否需要标准化

K-means的API

def __init__(self, n_clusters=8, init='k-means++', n_init=10,
             max_iter=300, tol=1e-4, precompute_distances='auto',
             verbose=0, random_state=None, copy_x=True,
             n_jobs=None, algorithm='auto'):
    
参数n_clusters ---K值  最小值是2
参数 init 聚类中心初始化的方法  k-means++
参数 max_iter 最大迭代次数  如果后期无法收敛（收敛 convergence） 调大max_iter
参数random_state 随机种子

K-means如何选择最优的K值

手肘法

1. 先设置一些K值，计算不同K值得SSE（误差平方和），SSE范围【--inf，0】
   SSE的计算方式：所有样本到各自聚类中心距离的和
2. 绘制图像，选择图像拐点的K值相对是比较好的，由于图像画出来类似于手肘，所以叫手肘法，选取手肘拐点即可。手肘法选取的就是相对较好的点，也就相当于一个折中效果，使预测结果不会太差，防止过拟合现象的发生。

 获取最优轮廓系数

1. 设置一些列K值，统计不同K值得轮廓系数（silhouette_score) ，范围【-1，1】

Kmeans与KNN的异同

相同：

1. 都有K值这个超参数
2. 都使用距离衡量（表征）相似度

不同：

1. KNN中的K代表选取测试点周围距离最近点的个数.
2. Kmeans中的K代表将数据聚为K类.
3. KNN是有监督学习的分类和回归算法
4. K-mean无监督的聚类算法

使用sklearn实现K-means算法

from sklearn.cluster import KMeans
from sklearn.preprocessing import MaxAbsScaler  # 小数定标标准化
from sklearn.preprocessing import MinMaxScaler  # 离差标准化
from sklearn.preprocessing import StandardScaler  # 标准差标准化
# 评估指标-----轮廓系数
from sklearn.metrics import silhouetee_score

# 由于是聚类算法，数据可能存在量纲，需要标准化，在使用算法之前
# 实例化
sca = MaxAbsScaler()
sca = MinMaxScaler()
sca = StandardScaler()
# 拟合
sca.fit( 训练集特征 )
# 处理数据
X_train = sca.transform( 训练集特征 )


# 实例化
km = KMeans()
# 参数：
# n_clusters=3，表示k=3，也就是随机三个聚类中心，最小值是2
# init，聚类中心初始化方法，默认k-means++
# max_iter，最大迭代次数，默认300，如果后期无法收敛可以尝试增加迭代次数
# random_state=1，随机种子，默认是None

# 拟合
km.fit( 训练集特征 )

# 查看聚类中心
print('聚类中心：', km.cluster_centers_)

# 查看预测结果
# 可以直接传入训练集，也可以传入自定义二维数组
y_pred = km.predict( 训练集特征 )
print('整个数据的类别：', y_pred)

# 查看SSE---误差平方和
# 默认是取反操作，大多数情况得出来的是负值【-inf, 0】
# 绝对值越小越好
score = km.score(X_train, y_pred)
print('SSE', score)

# 评估指标----轮廓系数(-1, 1)，越大越好
print('轮廓系数：', silhouetee_score(X_train, y_pred))