西瓜书学习笔记——第九章：聚类

9.1 聚类任务

聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个簇(cluster)。但需注意的是，聚类过程仅能自动形成簇结构，簇所对应的概念语义需由使用者来把握和命名。

聚类既能作为一个单独的过程，用于寻找数据内在的分布结构，也可作为分类等其他学习任务的前驱过程。

9.2 性能度量

聚类性能度量也称聚类有效性指标(validity index)，与监督学习中的性能度量作用类似。

• 对聚类结果，需要通过某种性能度量来评估其好坏。
• 若明确了最终将要使用的性能度量，则可直接将其作为聚类过程的优化目标。

对于聚类，一般通用的度量标准为“物以类聚”，即：簇内相似度高且簇间相似度低。

两类性能度量：

1. 外部指标：将聚类结果与某个参考模型(如将领域专家给出的划分结果作为参考模型)进行比较
2. 内部指标：直接考察聚类结果而不利用任何参考模型

外部指标：

定义

注：S代表Same，D代表Different

外部指标

• Rand指数(Rand Index，简称RI)

$$RI=\frac{a+d}{C_m^2}\text{\hspace{1em}(9.7)}$$
$a+b$表示与参考模型划分结果一致的样本数量

注：以上指数取值范围为[0,1]，且越大越好

内部指标

定义

簇内样本平均距离avg( C)

某个簇内样本间的平均距离，应该越小越好

簇内样本间最远距离diam( C )

显然diam( C)应该越小越好

簇间最近样本距离$d_{min}(C)$

应越大越好

簇中心间距$d_{cen}(C_i,C_j)$

${\mu }_i$表示簇$C_i$的中心点

内部指标

由聚类结果的一般标准：簇内相似度高且簇间相似度高可知：

• 对于式(9.12)的分子(簇内平均距离)，应越小越好，分母则是越大越好，故整体DBI应越小越好
• 对于式(9.13)的分子(最小簇间距离)应越大越好，分母（簇内样本最大距离）应越小越好，故整体DI应越大越好

9.3 距离计算

注：直递性常被直接称为“三角不等式”，不满足直递性的距离称为非度量距离，对于某些现实任务，我们不能使用定义好的距离公式，而是需要我们基于数据样本来确定合适的距离计算式，这可通过距离度量学习来实现

闵可夫斯基距离(Minkowski distance)

其中$p\ge 1$

曼哈顿距离(街区距离)

当闵可夫斯基距离表达式的$p=1$时，即为曼哈顿距离的表达式：

欧氏距离

当闵可夫斯基距离表达式的$p=2$时，即为欧氏距离的表达式：


注：红蓝黄都为曼哈顿距离，绿色为欧氏距离

切比雪夫距离

维基百科对切比雪夫距离的定义：

数学上，切比雪夫距离（Chebyshev distance）或是L∞度量是向量空间中的一种度量，二个点之间的距离定义为其各坐标数值差的最大值。

二维平面上两点a(x1,y1)，b(x2,y2)之间的切比雪夫距离公式：

n维空间上两点a(x1,x2,…,xn)，b(y1,y2,…,yn)的切比雪夫距离公式：

根据属性的性质选择采用的距离

有序属性

如{小，中，大}，“小”与“中”较近，与“大”较远。显然，闵可夫斯基距离可用于有序属性。

无序属性

如{飞机，火车，轮船}这样的离散属性则不能直接在属性上直接计算距离，称为无序属性。

如：要计算对于出行方式这个属性上飞机和火车这两个离散值的VDM距离，即为：
$$\sum _{i=1}^k|\frac{在簇i中出行方式为飞机的人数}{出行方式为飞机的总人数}-\frac{在簇i中出行方式为火车的人数}{出行方式为火车的总人数}|$$

混合属性（有序+无序：闵可夫斯基距离和VDM结合）

属性重要性不同(加权距离)

加权闵可夫斯基距离：

9.4 原型聚类

原型：样本空间中具有代表性的点

原型聚类也称基于原型的聚类(prototype-based clustering)，此类算法假设聚类结构能通过一组原型刻画。采用不同的原型表示、不同的求解方式，将产生不同的算法。

9.4.1 k均值算法（k-means聚类）

k-means聚类算法过程：

对于簇中心的迭代停止条件为：达到最大迭代轮数或调整幅度小于最小调整幅度阈值

9.4.2 学习向量量化

学习向量量化（Learning Vector Quantization,LVQ）同k-means聚类类似，也是试图找到一组原型向量来刻画聚类结构。不同的是，LVQ针对于带有类别标记的数据样本，学习过程利用样本的监督信息（类别标记）来辅助聚类。

注：停止条件为达到最大迭代轮数或原型向量更新很小甚至不再更新

上面的算法过程6-10行对应着如何更新原型向量。直观上看，对样本$x_j$，若最近的原型向量$p_{i\ast }$与$x_j$的类别标记相同，则令$p_{i\ast }$向$x_j$的方向靠拢，如第7行所示，此时新原型向量为：

即产生一个新的$p_{i\ast }$，它距离样本$x_j$更近

9.4.3 高斯混合聚类

与k-means、LVQ用原型向量来刻画聚类结构不同，高斯混合聚类采用概率模型来表达聚类原型。

注：一元高斯分布的概率密度函数为：
$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

1.定义高斯混合分布

该分布共由k个混合成分组成，每个混合成分对应一个高斯分布；
${\alpha }_i>0$为混合系数，且${\sum }_{i=1}^k{\alpha }_i=1$，混合系数也为选择第i个混合成分的概率。

2.样本生成过程

• 被选中的高斯混合分布的参数为${\mu }_i$和${\sum }_i$代入式(9.28)即可求出对应的概率密度$p(x|{\mu }_i,{\sum }_i)$
• 样本$x_j$出现的概率为$p_M(x_j)$

• $P(z_j=i)={\alpha }_i$
• $p_M(z_j=i|x_j)$：样本$x_j$由第$i$个高斯混合成分生成的后验概率，简写为${\gamma }_{ji}$

3.EM法迭代优化求解

利用EM算法迭代更新式(9.29)的模型参数$\{{\alpha }_i,{\mu }_i,{\sum }_i|1\le i\le k\}$才能计算出新的式(9.30)的结果用于下轮的迭代计算。

求解模型参数，我们可以使用MLE，似然函数为各个样本出现概率的乘积，为了防止连乘溢出，通常我们计算的是最大化对数似然：

分别对${\mu }_i,{\sum }_i$求导，并令其导数为0，得：



而对于混合系数${\alpha }_i$，除了要最大化对数似然，还要满足约束条件${\alpha }_i>0,{\sum }_{i=1}^k{\alpha }_i=1$，可以采用拉格朗日乘数法进行求解，$LL(D)$的拉格朗日形式为：

将样本划分簇

当EM迭代优化轮数到达停止条件，就可以按照最终模型得到各个样本$x_j$的后验概率$p_M(z_j=i|x_j)$，也即得到${\gamma }_{ji}$

注：对每个样本$x_j$对应的${\lambda }_j$的确定，即计算对于样本$x_j$，当$i=1,2,...,k$时的$p_M(z_j=i|x_j)$，最大的那一个${\gamma }_{ji}$即为该样本的${\lambda }_j$

这样，就完成了对每个样本的簇划分。

高斯混合聚类算法过程

综合前面所述，下图给出了高斯混合聚类的基本过程：

9.5 密度聚类

密度聚类也称基于密度的聚类，此类算法假设聚类结构能通过样本分布的紧密程度确定（原型聚类是假设聚类结构能够通过一组原型刻画）。

通常情况下，密度聚类算法从样本密度角度来考察样本间的可连接性（密度直达，密度可达，密度相连），并基于可连接样本来不断拓展聚类簇。

DBSCAN算法

一些概念

该算法基于一组邻域参数$(ϵ,MinPts)$来刻画样本分布的紧密程度。
给定数据集$D=\{x_1,x_2,...,x_m\}$，定义以下概念：

注：距离为欧氏距离

• 直达：在同一个$ϵ$-邻域
• 可达：间接可达，不在同一个$ϵ$-邻域

簇的定义

基于上面的概念，DBSCAN将簇定义为：由密度可达关系导出的最大密度相连样本集合。对于D中不属于任何簇的样本，会被视为噪声或异常样本。

算法过程

9.6 层次聚类

层次聚类试图在不同层次对数据集进行划分，从而形成树形的聚类结构。

对于数据集的划分，层次聚类通常有两种策略：

1. 自底向上的聚合策略
2. 自上而下的分拆策略

AGNES算法

AGNES是一种采用自底向上聚合策略的层次聚类算法。算法的基本过程是：先将每个样本都看做一个初始聚类簇，然后在算法运行的每一步中找出距离最近的两个聚类簇进行合并，该过程不断重复，直到到达预设的聚类簇个数。

对于簇间距离的计算，可通过以下式子计算$C_i和C_j$之间的距离：

显然，可以看出：

• 簇间最小距离由两个簇的最近样本决定
• 簇间最大距离由两个簇的最远样本决定
• 平均距离由两个簇的所有样本决定

当聚类簇的距离由$d_{min}、d_{max}或d_{avg}$计算时，AGNES算法被相应地称为单链接、全链接或均链接算法。

AGNES算法过程