人工智能入门课程学习（10）——聚类算法

1.聚类算法简介

使用不同的聚类准则，产生的聚类结果不同。

1.1 聚类算法的一些具体应用

• 用户画像，广告推荐，Data Segmentation，搜索引擎的流量推荐，恶意流量识别

• 基于位置信息的商业推送，新闻聚类，筛选排序

• 图像分割，降维，识别；离群点检测；信用卡异常消费；发掘相同功能的基因片段

1.2 聚类算法的概念

聚类算法：

一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别中。

在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。

1.3 与分类算法的最大区别

聚类算法是无监督的学习算法，而分类算法属于监督的学习算法。

2.使用sklearn中的api入门分类算法

2.1 api

• sklearn.cluster.KMeans(n_clusters=8)
  • 参数:
    • n_clusters:开始的聚类中心数量
      - 整型，缺省值=8，生成的聚类数，即产生的质心（centroids）数。
  • 方法:
    • estimator.fit(x)
    • estimator.predict(x)
    • estimator.fit_predict(x)
      - 计算聚类中心并预测每个样本属于哪个类别,相当于先调用fit(x),然后再调用predict(x)

2.2 分类案例

3. 聚类算法实现流程

k-means其实包含两层内容：

​ K : 初始中心点个数（计划聚类数）

​ means：求中心点到其他数据点距离的平均值

3.1 k-means聚类步骤

• 1、随机设置K个特征空间内的点作为初始的聚类中心
• 2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别
• 3、接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）
• 4、如果计算得出的新中心点与原中心点一样（质心不再移动），那么结束，否则重新进行第二步过程
  通过下图解释实现流程：
  

3.2 流程总结

流程:

• 事先确定常数K，常数K意味着最终的聚类类别数;

• 首先随机选定初始点为质心，并通过计算每一个样本与质心之间的相似度(这里为欧式距离)，将样本点归到最相似的类中，

• 接着，重新计算每个类的质心(即为类中心)，重复这样的过程，直到质心不再改变，

• 最终就确定了每个样本所属的类别以及每个类的质心。
  注意:

• 由于每次都要计算所有的样本与每一个质心之间的相似度，故在大规模的数据集上，K-Means算法的收敛速度比较慢。

4.聚类算法的模型评估

4.1 误差平方和(SSE \The sum of squares due to error)：

举例:(下图中数据-0.2, 0.4, -0.8, 1.3, -0.7, 均为真实值和预测值的差)

在k-means中的应用:

上图中: k=2

• SSE图最终的结果,对图松散度的衡量.(eg: SSE(左图)
• SSE随着聚类迭代,其值会越来越小,直到最后趋于稳定
• 如果质心的初始值选择不好,SSE只会达到一个不怎么好的局部最优解.

4.2 “肘”方法 (Elbow method) — K值确定

（1）对于n个点的数据集，迭代计算k from 1 to n，每次聚类完成后计算每个点到其所属的簇中心的距离的平方和；

（2）平方和是会逐渐变小的，直到k==n时平方和为0，因为每个点都是它所在的簇中心本身。

（3）在这个平方和变化过程中，会出现一个拐点也即“肘”点，下降率突然变缓时即认为是最佳的k值。

在决定什么时候停止训练时，肘形判据同样有效，数据通常有更多的噪音，在增加分类无法带来更多回报时，我们停止增加类别。

4.3 轮廓系数法（Silhouette Coefficient）

结合了聚类的凝聚度（Cohesion）和分离度（Separation），用于评估聚类的效果：
目的：

​ 内部距离最小化，外部距离最大化

4.4 CH系数（Calinski-Harabasz Index）

Calinski-Harabasz：

类别内部数据的协方差越小越好，类别之间的协方差越大越好（换句话说：类别内部数据的距离平方和越小越好，类别之间的距离平方和越大越好），

这样的Calinski-Harabasz分数s会高，分数s高则聚类效果越好。

CH需要达到的目的：

​ 用尽量少的类别聚类尽量多的样本，同时获得较好的聚类效果。

5.算法优化

5.1 Canopy算法配合初始聚类

实现流程：

优缺点：

5.2 K-means++

kmeans++目的，让选择的质心尽可能的分散

如下图中，如果第一个质心选择在圆心，那么最优可能选择到的下一个点在P(A)这个区域（根据颜色进行划分）

其他算法还有：

6.特征降维

降维是指在某些限定条件下，降低随机变量(特征)个数，得到一组**“不相关”主变量**的过程

6.1降维的两种方式

• 特征选择
• 主成分分析（可以理解一种特征提取的方式）

6.2 特征选择

数据中包含冗余或无关变量（或称特征、属性、指标等），旨在从原有特征中找出主要特征。

1.方法

• Filter(过滤式)：主要探究特征本身特点、特征与特征和目标值之间关联
  • 方差选择法：低方差特征过滤
  • 相关系数
• Embedded (嵌入式)：算法自动选择特征（特征与目标值之间的关联）
  • 决策树:信息熵、信息增益
  • 正则化：L1、L2
  • 深度学习：卷积等

2.API介绍

3.数据降维的实际使用案例

7. 案例：探究用户对物品类别的喜好细分降维

数据介绍：

8. 总结