聚类算法总结

聚类

在无监督学习中，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律。在这类任务中，常用的算法是聚类(cluster)算法。
聚类算法试图将样本划分为若干个通常是不相交的子集，每个子集表明一个簇，也叫类别，通过这样的操作，可以将无规律的样本划分为一堆堆的样本子集合。簇所对应的概念语义及个数需要由使用者把握和命名。

性能度量

聚类要求，簇内相似，簇间尽可能不同。直白一点的意思是，我们希望物以类聚，即簇内的样本之间相似度要高，而簇间的样本相似度要低。如何度量相似度？一般而言是使用距离来度量。最常用的是使用闵可夫斯基距离：

当P=2时候，闵可夫斯基距离变为欧氏距离：

当p=1时候，闵可夫斯基距离变为曼哈顿距离：

当p=0时候，闵可夫斯基距离变为切比雪夫距离：

• 样本之间距离越大，说明样本之间相似度越低
• 样本之间距离越小，说明样本之间相似度越高

聚类算法

k-means聚类
算法大致流程如下：

• 第一步，设定k值，表明要划分为k簇，这也是算法唯一的一个超参数；
• 第二步，从数据集中随机选择k个样本出来作为初始化的簇中心，这里注意，初始化的好坏会对最终结果有影响！
• 第三步，计算每个样本与这些簇中心的距离，样本离哪个簇中心最近，就将其划分为哪一簇；
• 第四步，根据每一簇的样本计算均值，并更新该簇的簇中心。
• 重复上述第三步和第四步，直到达到簇中心不再变化表明算法稳定。

学习向量量化（LVQ）
学习向量量化试图找到一组原型向量来刻画聚类结构，但是LVQ假设样本带有类别标记，学习过程中利用样本的监督信息来辅助聚类。
算法大致流程：

• 第一步： 初始化一组原型向量，并且对每个原型向量都预设有类别标记；
• 第二步：从样本中随机选择样本，计算样本与原型向量之间的距离，找出与之最相近的原型向量；
• 第三步：如果上述步骤的原型向量的预设标签与假设的标签一致的话，对原型向量进行更新，让更新后的原型向量更接近样本；如果上述步骤的原型向量的预设标签与假设的标签不一致的话，对原型向量进行更新，让更新后的原型向量更远离样本；
• 重复进行第二步和第三步，直到满足停止条件。

高斯混合聚类
高斯混合聚类采用概率模型来表达聚类原型，簇划分的原则是原型对应的后验概率。
使用EM算法来求解最大后验概率。

密度聚类
密度聚类，即基于密度的聚类。假设样本的聚类结构可以通过样本分布的紧密程度来表达。密度聚类算法考察样本之间的可连接性，并基于可连接扩展聚类簇以获得最终的聚类结果。
DBSCAN（density-based-spatial clustering of applications with noise）
这里有些概率要理解：

• 邻域：画一个圈包含的样本；
• 核心对象：样本多大的圈能至少包含MinPts个样本，这样的样本叫做核心对象；
• 密度直达：样本A在样本B的邻域中，则B是核心对象，A由B密度直达；
• 密度可达：可以传递的那种；
  算法思想是由密度可达关系导出最大的密度相连样本集合作为一个簇。
  算法大致流程：
• 第一步：先根据领域找到所有的核心对象；
• 第二步：以任一核心对象为出发点，找出与其密度可达的样本生成聚类簇，直到所有核心对象都被访问过；
• 第三步：然后从数据集中将这些圈好的样本去掉，开始下一轮；
• 重复进行第二步和第三步，直到所有的核心对象都被访问过。

层次聚类
层次聚类试图在不同层次上对数据进行划分，从而形成树形的聚类结构，可以采取自上而下或者自下而上的分拆策略。
AGNES（Agglomerative Nesting）是采用自下而上的层次聚类算法。
算法思想是将数据集中每个样本看作是一个初始聚类簇，然后在算法运行的每一步中找到距离最近的两个聚类簇进行合并，不断重复，直到达到设定的簇数。
最小距离：由两个簇最近样本决定
最大距离：由两个簇最远样本决定
平均距离：由两个簇的所有样本决定
算法大致流程：

• 第一步：设置当前的簇数；
• 第二步：当簇数大于想要的簇数时候，找出距离最近的两个簇数，合并两个簇数为一个簇数，并对合并得到的聚类簇的距离进行更新
• 第三步：不断重复上述过程，直到达到想要的簇数；

参考文献

• 周志华 机器学习