机器学习（6）之聚类算法（k-means\Canopy\层次聚类\谱聚类）

@

1 聚类的定义

聚类就是对大量未知标注的数据集，按照数据内部存在的数据特征将数据集划分为多个不同的类别，使类别内的数据比较相似，类别之间的数据相似度比较小；属于无监督学习。

聚类算法的重点是计算样本项之间的相似度，有时候也称为样本间的距离。

和分类算法的区别：
分类算法是有监督学习，基于有标注的历史数据进行算法模型构建
聚类算法是无监督学习，数据集中的数据是没有标注的。

1.1 距离公式（相似度）

1. 闵可夫斯基距离(Minkowski)：
   

• 当p为1的时候是曼哈顿距离(Manhattan)(也叫城市距离)：
  
• 当p为2的时候是欧式距离(Euclidean)：
  
• 当p为无穷大的时候是切比雪夫距离(Chebyshev)：
  
• 标准化欧式距离(Standardized Euclidean Distance)
  

1. 夹角余弦相似度(Cosine)：

1. KL距离(相对熵)：

1. 杰卡德相似系数(Jaccard)：

1. Pearson相关系数

1.2 聚类的思想

• 给定一个有M个对象的数据集，构建一个具有k个簇的模型，其中k<=M。满足以下条件：
  • 每个簇至少包含一个对象
  • 每个对象属于且仅属于一个簇
  • 将满足上述条件的k个簇成为一个合理的聚类划分
• 基本思想：对于给定的类别数目k，首先给定初始划分，通过迭代改变样本和簇的隶属关系，使的每次处理后得到的划分方式比上一次的好(总的数据集之间的距离和变小了)

2 K-means算法

K-means算法，也称为K-平均或者K-均值，是一种使用广泛的最基础的聚类算法，一般作为掌握聚类算法的第一个算法。

• 假设输入样本为T=X₁,X₂,...,X_m;则算法步骤为（使用欧几里得距离公式）：
  
  • 选择初始化的k个类别中心a₁,a₂,...a_k;每个簇的样本数量为N₁,N2...,N_K;
  • 对于每个样本X_i，将其标记位距离类别中心a_j最近的类别 j；
    
  • 更新每个类别的中心点a_j为隶属该类别的所有样本的均值,更新公式如下；
    
  • 重复上面两步操作，直到达到某个中止条件。

中止条件：
迭代次数、最小平方误差MSE、簇中心点变化率。

2.1 K-means算法的思考

K-means算法在迭代的过程中使用所有点的均值作为新的质点(中心点)，如果簇中存在异常点，将导致均值偏差比较严重。

• 比如一个簇中有2、4、6、8、100五个数据，那么新的质点为24，显然这个质点离绝大多数点都比较远；在当前情况下，使用中位数6可能比使用均值的想法更好，使用中位数的聚类方式叫做K-Mediods聚类(K中值聚类)

K-means算法是初值敏感的，选择不同的初始值可能导致不同的簇划分规则。

• 为了避免这种敏感性导致的最终结果异常性，可以采用初始化多套初始节点构造不同的分类规则，然后选择最优的构造规则。

2.2 总结

• 缺点：
  • K值是用户给定的，在进行数据处理前，K值是未知的，不同的K值得到的结果也不一样。
  • 对初始簇中心点是敏感的。
  • 不适合发现非凸形状的簇或者大小差别较大的簇。
  • 特殊值(离群值)对模型的影响比较大。
• 优点：
  • 理解容易，聚类效果不错；
  • 处理大数据集的时候，该算法可以保证较好的伸缩性和高效率，当簇近似高斯分布的时候，效果非常不错。

3 二分K-Means算法

解决K-Means算法对初始簇心比较敏感的问题，二分K-Means算法是一种弱化初始质心的一种算法，具体思路步骤如下：

1. 将所有样本数据作为一个簇放到一个队列中。
2. 从队列中选择一个簇进行K-means算法划分，划分为两个子簇，并将子簇添加到队列中。
3. 循环迭代第二步操作，直到中止条件达到(聚簇数量、最小平方误差、迭代次数等)。
4. 队列中的簇就是最终的分类簇集合。

从队列中选择划分聚簇的规则一般有两种方式；分别如下：

1. 对所有簇计算误差和SSE(SSE也可以认为是距离函数的一种变种)，选择SSE最大的聚簇进行划分操作(优选这种策略)。
   
2. 选择样本数据量最多的簇进行划分操作。

4 K-Means++算法

解决K-Means算法对初始簇心比较敏感的问题，K-Means++算法和K-Means算法的区别主要在于初始的K个中心点的选择方面，K-Means算法使用随机给定的方式，K-Means++算法采用下列步骤给定K个初始质点：

1. 从数据集中任选一个节点作为第一个聚类中心。
2. 对数据集中的每个点x，计算x到所有已有聚类中心点的距离和D(X)，基于D(X)采用线性概率选择出下一个聚类中心点(距离较远的一个点成为新增的一个聚类中心点)。
3. 重复步骤2直到找到k个聚类中心点

缺点：由于聚类中心点选择过程中的内在有序性，在扩展方面存在着性能方面的问题(第k个聚类中心点的选择依赖前k-1个聚类中心点的值)

4.1 K-Means||算法

解决K-Means++算法缺点而产生的一种算法；主要思路是改变每次遍历时候的取样规则，并非按照K-Means++算法每次遍历只获取一个样本，而是每次获取K个样本，重复该取样操作O(logn)次，然后再将这些抽样出来的样本聚类出K个点，最后使用这K个点作为K-Means算法的初始聚簇中心点。实践证明：一般5次重复采用就可以保证一个比较好的聚簇中心点。

5 Canopy算法

Canopy算法属于一种“粗”聚类算法，执行速度较快，但精度较低，算法执行步骤如下：

1. 给定样本列表L=x₁,x₂...,x_m以及先验值r₁和r₂(r₁>r₂)。
2. 从列表L中获取一个节点P，计算P到所有聚簇中心点的距离(如果不存在聚簇中心，那么此时点P形成一个新的聚簇)，并选择出最小距离D(P,a_j) 。
3. 如果距离D小于r₁，表示该节点属于该聚簇，添加到该聚簇列表中。
4. 如果距离D小于r₂，表示该节点不仅仅属于该聚簇，还表示和当前聚簇中心点非常近，所以将该聚簇的中心点设置为该簇中所有样本的中心点，并将P从列表L中删除。
5. 如果距离D大于r₁，那么节点P形成一个新的聚簇。
6. 直到列表L中的元素数据不再有变化或者元素数量为0的时候，结束循环操作。

Canopy算法得到的最终结果的值，聚簇之间是可能存在重叠的，但是不会存在某个对象不属于任何聚簇的情况。

5.1 应用场景

由于K-Means算法存在初始聚簇中心点敏感的问题，常用使用Canopy+KMeans算法混合形式进行模型构建。

1. 先使用canopy算法进行“粗”聚类得到K个聚类中心点。
2. K-Means算法使用Canopy算法得到的K个聚类中心点作为初始中心点，进行“细”聚类。

优点：

• 执行速度快(先进行了一次聚簇中心点选择的预处理)。
• 不需要给定K值，应用场景多。
• 能够缓解K-Means算法对于初始聚类中心点敏感的问题。

6 Mini Batch K-Means算法

Mini Batch K-Means算法是K-Means算法的一种优化变种，采用小规模的数据子集(每次训练使用的数据集是在训练算法的时候随机抽取的数据子集)减少计算时间，同时试图优化目标函数；Mini Batch K-Means算法可以减少K-Means算法的收敛时间，而且产生的结果效果只是略差于标准K-Means算法。

算法步骤如下：

• 首先抽取部分数据集，使用K-Means算法构建出K个聚簇点的模型。
• 继续抽取训练数据集中的部分数据集样本数据，并将其添加到模型中，分配给距离最近的聚簇中心点。
• 更新聚簇的中心点值。
• 循环迭代第二步和第三步操作，直到中心点稳定或者达到迭代次数，停止计算操作。

7 层次聚类方法

层次聚类方法对给定的数据集进行层次的分解，直到满足某种条件为止，传统的层次聚类算法主要分为两大类算法：

• 凝聚的层次聚类：AGNES算法(AGglomerative NESting)——>采用自底向上的策略。最初将每个对象作为一个簇，然后这些簇根据某些准则被一步一步合并，两个簇间的距离可以由这两个不同簇中距离最近的数据点的相似度来确定；聚类的合并过程反复进行直到所有的对象满足簇数目。
• 分裂的层次聚类：DIANA算法(DIvisive ANALysis)——>采用自顶向下的策略。首先将所有对象置于一个簇中，然后按照某种既定的规则逐渐细分为越来越小的簇(比如最大的欧式距离)，直到达到某个终结条件(簇数目或者簇距离达到阈。

7.1 AGNES算法中簇间距离

最小距离(SL聚类)

• 两个聚簇中最近的两个样本之间的距离(single/word-linkage聚类法)。
• 最终得到模型容易形成链式结构。

最大距离(CL聚类)

• 两个聚簇中最远的两个样本的距离(complete-linkage聚类法)。
• 如果存在异常值，那么构建可能不太稳定。

平均距离(AL聚类)

• 两个聚簇中样本间两两距离的平均值(average-linkage聚类法)。
• 两个聚簇中样本间两两距离的中值(median-linkage聚类法)。

7.2 层次聚类优化算法

1. BIRCH算法(平衡迭代削减聚类法)==（重要）==：聚类特征使用3元组进行一个簇的相关信息，通过构建满足分枝因子和簇直径限制的聚类特征树来求聚类，聚类特征树其实是一个具有两个参数分枝因子和类直径的高度平衡树；分枝因子规定了树的每个节点的子女的最多个数，而类直径体现了对这一类点的距离范围；非叶子节点为它子女的最大特征值；聚类特征树的构建可以是动态过程的，可以随时根据数据对模型进行更新操作。

优缺点：

• 适合大规模数据集，线性效率；
• 只适合分布呈凸形或者球形的数据集、需要给定聚类个数和簇之间的相关参数。

1. CURE算法(使用代表点的聚类法)：该算法先把每个数据点看成一类，然后合并距离最近的类直至类个数为所要求的个数为止。但是和AGNES算法的区别是：取消了使用所有点或用中心点+距离来表示一个类，而是从每个类中抽取固定数量、分布较好的点作为此类的代表点，并将这些代表点乘以一个适当的收缩因子，使它们更加靠近类中心点。代表点的收缩特性可以调整模型可以匹配那些非球形的场景，而且收缩因子的使用可以减少噪音对聚类的影响。

优缺点：

• 能够处理非球形分布的应用场景。
• 采用随机抽样和分区的方式可以提高算法的执行效率。

8 密度聚类

密度聚类方法的指导思想: 只要样本点的密度大于某个阈值，则将该样本添加到最近的簇中。

这类算法可以克服基于距离的算法只能发现凸聚类的缺点，可以发现任意形状的聚类，而且对噪声数据不敏感。

计算复杂度高，计算量大。

常用算法：DBSCAN、密度最大值算法

8.1 DBSCAN算法

DBSCAN(Density-Based Spatial Clustering of Applications with Noise)

一个比较有代表性的基于密度的聚类算法，相比于基于划分的聚类方法和层次聚类方法，DBSCAN算法将簇定义为密度相连的点的最大集合，能够将足够高密度的区域划分为簇，并且在具有噪声的空间数据商能够发现任意形状的簇。

DBSCAN算法的核心思想是：用一个点的ε邻域内的邻居点数衡量该点所在空间的密度，该算法可以找出形状不规则的cluster，而且聚类的时候事先不需要给定cluster的数量。

8.1.1 基本概念

1. ε邻域(ε neighborhood，也称为Eps)：给定对象在半径ε内的区域。
   
2. 密度(density)：ε邻域中x的密度，是一个整数值，依赖于半径ε。
   
3. MinPts定义核心点时的阈值，也简记为M。
4. 核心点(core point)：如果p(x)>=M,那么称x为X的核心点；记由X中所有核心点构成的集合为X_c，并记X_nc=X\X_c表示由X中所有非核心点构成的集合。直白来讲，核心点对应于稠密区域内部的点。
5. 边界点(border point): 如果非核心点x的ε邻域中存在核心点，那么认为x为X的边界点。由X中所有的边界点构成的集合为X_bd。边界点对应稠密区域边缘的点。
   
6. 噪音点(noise point)：集合中除了边界点和核心点之外的点都是噪音点，所有噪音点组成的集合叫做X_noi；，噪音点对应稀疏区域的点。
   
7. 直接密度可达(directly density-reachable)：给定一个对象集合X，如果y是在x的ε邻域内，而且x是一个核心对象，可以说对象y从对象x出发是直接密度可达的。
   
8. 密度可达(density-reachable)：如果存在一个对象链p₁,p₂..p_m,如果满足p_i+1是从p_i直接密度可达的，那么称p₁是从p₁密度可达的。
9. 密度相连(density-connected)：在集合X中，如果存在一个对象o，使得对象x和y是从o关于ε和m密度可达的，那么对象x和y是关于ε和m密度相连的。
10. 簇(cluster)：一个基于密度的簇是最大的密度相连对象的集合C；满足以下两个条件：

• Maximality：若x属于C，而且y是从x密度可达的，那么y也属于C。
• Connectivity：若x属于C，y也属于C，则x和y是密度相连的。

8.1.2 算法流程

算法流程：

1. 如果一个点x的ε邻域包含多余m个对象，则创建一个x作为核心对象的新簇；
2. 寻找并合并核心对象直接密度可达的对象；
3. 没有新点可以更新簇的时候，算法结束。

算法特征描述:

1. 每个簇至少包含一个核心对象。
2. 非核心对象可以是簇的一部分，构成簇的边缘。
3. ·包含过少对象的簇被认为是噪声。

8.1.3 DBSCAN算法总结

• 优点：
  • 不需要事先给定cluster的数目
  • 可以发现任意形状的cluster
  • 能够找出数据中的噪音，且对噪音不敏感
  • 算法只需要两个输入参数
  • 聚类结果几乎不依赖节点的遍历顺序
• 缺点：
  • DBSCAN算法聚类效果依赖距离公式的选取，最常用的距离公式为欧几里得距离。但是对于高维数据，由于维数太多，距离的度量已变得不是那么重要。
  • DBSCAN算法不适合数据集中密度差异很小的情况。

8.2 密度最大值聚类算法(MDCA)

MDCA(Maximum Density Clustering Application)算法基于密度的思想引入划分聚类中，使用密度而不是初始点作为考察簇归属情况的依据，能够自动确定簇数量并发现任意形状的簇；另外MDCA一般不保留噪声，因此也避免了阈值选择不当情况下造成的对象丢弃情况。

MDCA算法的基本思路是寻找最高密度的对象和它所在的稠密区域；MDCA算法在原理上来讲，和密度的定义没有关系，采用任意一种密度定义公式均可，一般情况下采用DBSCAN算法中的密度定义方式。

8.2.1 MDCA相关概念

1. 最大密度点：
   
2. 有序序列: 根据所有对象与p_max的距离对数据重新排序:
   
3. 密度阈值density0；当节点的密度值大于密度阈值的时候，认为该节点属于一个比较固定的簇，在第一次构建基本簇的时候，就将这些节点添加到对应簇中，如果小于这个值的时候，暂时认为该节点为噪声节点。
4. 簇间距离：对于两个簇C₁和C₂之间的距离，采用两个簇中最近两个节点之间的距离作为簇间距离。
   
5. 聚簇距离阈值dist₀：当两个簇的簇间距离小于给定阈值的时候，这两个簇的结果数据会进行合并操作。
6. M值：初始簇中最多数据样本个数。

8.2.2 算法流程

• MDCA算法聚类过程步骤如下：
  • 将数据集划分为基本簇；
    • 对数据集X选取最大密度点P_max，形成以最大密度点为核心的新簇C_i，按照距离排序计算出序列S_pmax,对序列的前M个样本数据进行循环判断，如果节点的密度大于等于density0，那么将当前节点添加Ci中；
    • 循环处理剩下的数据集X，选择最大密度点P_max，并构建基本簇C_i+1，直到X中剩余的样本数据的密度均
      小于density₀。
  • 使用凝聚层次聚类的思想，合并较近的基本簇，得到最终的簇划分；
    • 在所有簇中选择距离最近的两个簇进行合并，合并要求是：簇间距小于等于dist₀,如果所有簇中没有簇间距小于dist₀的时候，结束合并操作
  • 处理剩余节点，归入最近的簇。
    • 最常用、最简单的方式是：将剩余样本对象归入到最近的簇。

9 谱聚类

谱聚类是基于谱图理论基础上的一种聚类方法，与传统的聚类方法相比：具有在任意形状的样本空间上聚类并且收敛于全局最优解的优点。

通过对样本数据的拉普拉斯矩阵的特征向量进行聚类，从而达到对样本数据进行聚类的目的；其本质是将聚类问题转换为图的最优划分问题，是一种点对聚类算法。

谱聚类算法将数据集中的每个对象看做图的顶点V，将顶点间的相似度量化为相应顶点连接边E的权值w，这样就构成了一个基于相似度的无向加权图G(V,E)，于是聚类问题就转换为图的划分问题。基于图的最优划分规则就是子图内的相似度最大，子图间的相似度最小。

9.1 谱聚类的构建

谱聚类的构建过程主要包含以下几个步骤：

1. 构建表示对象相似度的矩阵W。
   
2. 构建度矩阵D(对角矩阵)。
   
3. 构建拉普拉斯矩阵L。
   
4. 计算矩阵L的前k个特征值的特征向量(k个列向量)。
5. 将k个列向量组成矩阵U。
6. 对矩阵U中的n行数据利用K-means或其它经典聚类算法进行聚类得出最终结果。

9.2 应用场景及存在的问题

应用场景：图形聚类、计算机视觉、非凸球形数据聚类等。

存在的问题：

• 相似度矩阵的构建问题：业界一般使用高斯相似函数或者k近邻来作为相似度量，一般建议 使用k近邻的方式来计算相似度权值。
• 聚类数目的给定。
• 如何选择特征向量。
• 如何提高谱聚类的执行效率。

10 聚类算法的衡量指标

1. 均一性：一个簇中只包含一个类别的样本，则满足均一性；其实也可以认为就是正确率(每个聚簇中正确分类的样本数占该聚簇总样本数的比例和)。
   
2. 完整性：同类别样本被归类到相同簇中，则满足完整性；每个聚簇中正确分类的样本数占该类型的总样本数比例的和。
   
3. V-measure：均一性和完整性的加权平均。
   
4. Rand index(兰德指数)(RI)，RI取值范围为[0,1]，值越大意味着聚类结果与真实情况越吻合。
   

其中C表示实际类别信息，K表示聚类结果，a表示在C与K中都是同类别的元素对数，b表示在C与K中都是不同类别的元素对数，分母表示数据集中可以组成的对数

1. 调整兰德系数(ARI，Adjusted Rnd Index)，ARI取值范围[-1,1]，值越大，表示聚类结果和真实情况越吻合。从广义的角度来将，ARI是衡量两个数据分布的吻合程度的。
   
2. 调整互信息(AMI，Adjusted Mutual Information)，类似ARI，内部使用信息熵。
   
3. 轮廓系数

• 簇内不相似度：计算样本i到同簇其它样本的平均距离为a_i;a_i越小，表示样本i越应该被聚类到该簇，簇C中的所有样本的a_i的均值被称为簇C的簇不相似度。
• 簇间不相似度：计算样本i到其它簇Cj的所有样本的平均距离b_ij，b_i=min{b_i1,b_i2,...,b_ik}；b_i越大，表示样本i越不属于其它簇。
• 轮廓系数：s_i值越接近1表示样本i聚类越合理，越接近-1，表示样本i应该分类到另外的簇中，近似为0，表示样本i应该在边界上；所有样本的si的均值被成为聚类结果的轮廓系数。