[机器学习算法]聚类学习

简介

在无监督学习中unsupervised learning中，训练样本的标记信息是未知的，其目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础。而此类学习任务中应用最广、研究最多的即聚类clustering。
以通俗的语言讲解，聚类学习将数据集中的样本分成若干个互不相交的子集（称为簇cluster）。保持簇内差异尽可能小而簇间差异尽可能大我们就可以将每个簇映射到一些潜在的类别。

需要注意的是，划分的类别对于聚类而言事先是位置的，聚类过程仅能将数据集自动划分为不同的簇，但每个簇对应的概念语义是需要使用者自己来把握和命名。

聚类学习

数学描述

照旧我们以数学语言描述聚类学习，假定样本集包含个无标记样本，每个样本是一个维特征向量，则聚类算法将样本划分为个不相交的簇。我们用表示样本的簇标记cluster label，则聚类结果可用包含个元素的簇标记向量表示。

性能度量

从本质上讲，我们希望聚类形成簇内方差尽可能小而簇间方差尽可能大的分类结果，即相同类别的元素尽可能相似而归属不同类别的元素尽可能不同。

对数据集，假定通过聚类给出的簇划分为，定义：

$avg(C)=\frac{2}{|C|(|C|-1))}\sum_{1\leq i<j \leq |C|}dist(x_i, x_j) \\ diam(C)=max_{1 \leq i < j \leq |C|}dist(x_i, x_j) \\ d_{min}(C_i,C_j)=min_{x_i\in C_i, x_j\in C_j}dist(x_i, x_j) \\ d_{cen}(C_i,C_j) = dist(\mu_i, \mu_j) \\ \mu = \frac{1}{|C|}\sum_{1\leq i \leq |C|}x_i$
其中衡量两个样本之间的距离，表示簇的中心点，表示簇内样本间的平均距离，表示簇内样本间的最远距离，表示两个簇最近样本间的距离，表示两个簇中心点间的距离。
基于这些指标，我们常用下面的聚类性能度量聚类效果：

DB指数Davies-Bouldin Index：值越小表示聚类效果越好
Dunn指数Dunn Index：值越大表示聚类效果越好

给定样本和,度量两个样本点间距离的方法有很多种，最常用的就是“闵可夫斯基距离”Minkowski distance：

当时，闵可夫斯基距离等价于欧式距离Euclidean distance；时，闵可夫斯基距离等价于曼哈顿距离Manhattan distance

k均值算法

给定样本集，k-means最小化聚类所得簇划分的平方误差：

最小化上式需要遍历样本集中所有可能的簇划分，这本身就是一个NP难的问题，因此k-means算法采取了贪心策略，通过迭代优化来近似求解。
输入：样本集，聚类簇数
输出：最优的簇划分

从中随机抽取个样本作为初始均值向量
遍历中的每个样本，计算它与各均值向量的距离：，将样本划入离它最近的簇中：，对应的簇更新为
对个簇重新计算均值向量：，更新均值向量
重复1-3步骤直至均值向量不再更新

高斯混合聚类

1.多元高斯分布

先回顾以下多元高斯分布的概率密度函数：

其中是均值向量，是的协方差矩阵，高斯分布完全由均值向量和协方差矩阵这俩参数确定，因此我们可将其记为。

2.高斯混合分布

基于多元高斯分布的概念，我们可定义高斯混合分布：

该分布共由个混合分布组成，每个混合成分对应一个高斯分布，而为相应的混合系数mixture coefficient，且满足

3.高斯混合聚类原理

假设样本的生成过程由高斯混合分布给出：首先根据定义先验分布选择高斯混合成分，然后根据被选择的混合成份的概率密度函数进行采样，从而生成相应的样本。
给定训练集由上述过程生成，令随机变量表示生成样本的高斯混合成分，其取值未知。根据贝叶斯定理，可以计算的后验分布为：
$\begin{aligned} p_{\mathcal{M}}(z_j=i|x_j) &= \frac{P(z_j=i)\times p_{\mathcal(M)}(x_j|z_j=i)}{p_{\mathcal{M}}(x_j)} \\ &= \frac{\alpha_i \times p(x_j|\mu_i, \sum_i)}{\sum_{l=1}^{k}\alpha_l\times p(x_j|\mu_l,\sum_l)} \end{aligned}$
即给定了样本由第个高斯混合成分生成的后验概率，我们将其记为，高斯混合聚类将样本集划分为个簇，每个样本的簇标记确定如下：

4.高斯混合聚类算法

输入：样本集；高斯混合成分个数
输出：簇划分

初始化高斯混合分布参数
计算由高斯各混合部分生成的后验概率，即
计算新均值向量，计算新协方差矩阵，计算新混合系数，并更新对应的三个模型参数
重复进行2-3步骤直至满足停止条件（EM算法达到最大迭代次数或者似然函数增长很少）
根据将样本划到对应的簇中，即

密度聚类DBSCAN

密度聚类density-based clustering假设聚类结构能通过样本分布的紧密程度确定，密度聚类算法从样本密度的角度来考察样本之间的可连接性，并基于可连接样本不断扩展聚类簇以获得最终的聚类结果。

1.密度聚类的相关概念

给定数据集，有如下概念：

邻域：，即样本集中与距离不超过的样本集合
核心对象core object：若的邻域内至少包含个样本，则它是一个核心对象
密度直达directly density-reachable：若位于的邻域中，且是核心对象，则称由密度直达
密度可达density-reachable：对和，若存在样本序列，其中且由密度直达，则称由密度可达
密度相连density-connect：对与，如果存在使得与均由密度可达，则称和密度相连

下图给出了密度聚类相关概念的直观展示：

密度聚类概念

在的情况下，虚线表示邻域，是核心对象，由密度直达，由密度可达，与密度相连。

2.密度聚类原理

基于上述的概念，密度聚类将“簇”定义为：由密度可达关系导出的最大密度相连样本集合。从数学角度上讲，即给定邻域参数，簇是满足以下性质的非空样本子集：

连接性connectivity：
最大型maximality：

不难证明，若为核心对象，则由其密度可达的所有样本组成的集合记为满足连接性与最大性。

3.密度聚类算法

输入：样本集；邻域参数
输出：簇划分

遍历所有样本，如果样本的邻域满足，那么将其加入核心对象集合
随机抽取一个核心对象，遍历该核心对象邻域内的所有样本点（包括它自身），如果该样本也是核心对象，则
对于2步骤中的核心对象，继续搜寻其邻域内的所有样本点，更新，生成聚类簇
继续随机抽取一个核心对象生成聚类簇，重复2-3步骤，直至所有核心对象均被访问过为止。

直观展示如下：

密度聚类

层次聚类

层次聚类hierarchical clustering试图在不同层次上对数据集进行划分，从而形成树形的聚类结构，数据集的划分既可以采用“自底向上”的聚合策略，也可以采用“自顶向下”的分拆策略。

AGNES是一种自底向上聚合策略的层次聚类算法，它先将数据集中每个样本看成一个初始聚类簇，然后在算法运行的每一步中找到最近的两个聚类簇进行合并，该过程不断重复直至达到预设的聚类簇个数，关键在于如何计算连个聚类簇之间的距离。

1.计算距离的方式

最小距离：
最大距离：
平均距离：：
当聚类簇距离分别由、或计算时，AGNES算法被相应地成为“单链接”single-linkage、“全链接”complete-linkage或“均链接”average-linkage算法。

2.算法

输入：样本集；聚类簇距离度量函数；聚类簇数
输出：簇划分

每个样本最为单独一类，
计算任意两个样本簇间的距离：
找到距离最近的两个聚类簇和，将其合并，对于所有下标大于的簇，将聚类簇重编号为
根据最新的簇更新一下第2步骤计算的簇间距离矩阵
重复2-4步骤直至当前聚类簇个数等于预设的聚类簇数

3.树状图

令AGNES算法执行到所有样本出现在同一个簇中，可得到如下的树状图：

层次聚类树状图

在树状图的特定层次上分割即可得到对应的簇划分结果，上图中虚线划分的位置将样本分为7个簇，理解一下背后的原理。

Reference

[1] 周志华机器学习