阅读笔记：《机器学习》西瓜书（9）——聚类

聚类任务

在无监督学习中，由于训练样本并没有标签，一般使用聚类来揭示训练样本数据中的内在规律，为进一步的数据分析提供基础。聚类试图将训练样本在属性空间（特征空间、样本空间）中划分出若干个通常不相交的子集（簇）。这样，每个簇就对应于一些潜在的类别。
为了保证聚类过程的正确性，需要使用一种定量的指标进行描述，这种指标称为性能度量，用于评估聚类结果的好坏。在聚类过程中，为了将潜在的同类样本分在一类，一般会采用一种方法来描述不同样本间的距离，这种方法称作距离计算，显然需要使潜在的同类样本其距离越紧越好。

性能度量

通过构造某种性能度量，我们可以描述聚类结果的好坏。一般来说，我们希望聚类结果的簇内相似度高且簇间相似度低。
聚类的性能度量一般分为两种，一种是外部指标，即将聚类结果与某一个参考模型进行比较；另一种是内部指标，即不使用任何参考模型，直接考察聚类结果。

外部指标

对于数据集$D={\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_{\mathbf{m}}$，若通过聚类给出簇划分KaTeX parse error: Undefined control sequence: \C at position 28: …{C_1,C_2,\dots,\̲C̲_k}，参考模型给出的簇划分为${\mathcal{C}}^{\ast }=C_1^{\ast },C_2^{\ast },\dots ,C_s^{\ast }$，令$\lambda$和${\lambda }^{\ast }$分别表示待评价聚类和参考模型对应的簇标记。定义：

这里，有$a+b+c+d=\frac{m(m-1)}{2}$成立。
常用的聚类性能度量的外部指标如下：


上述性能度量的结果在$[0,1]$之间，且值越大越好。

内部指标

其中，$\text{dist}(\cdot ,\cdot )$用于计算两个样本间的距离，$\mathbf{\mu }$表示簇$C$的中心点$\mathbf{\mu }=\frac{1}{C}{\sum }_{1\le i\le |C|}$，$\text{avg}(C)$表示簇$C$内个样本间的平均距离，$\text{diam}(C)$表示簇$C$内样本的最大距离，$d_{\min }(C_i,C_j)$表示两簇样本彼此的最近距离，$d_{\text{den}}(C_i,C_j)$表示两簇样本中心点的距离。
常用的聚类性能度量的内部指标如下：

显然， DBI 的值越小越好，而DI 则相反，值越大越好。

距离计算

函数$\text{dist}(\cdot ,\cdot )$用于计算两个样本间的距离。一般来说，我们习惯于将样本的各属性表示在一个向量中，然后通过某种距离的定义计算两个向量间的距离。然而在实际应用过程中，并不是所有的属性值都能直接定量进行表示。我们一般称能够定量表示的属性为有序属性，反之为无序属性。

有序属性的距离计算

对给定的样本${\mathbf{x}}_{\mathbf{i}}=(x_{i1};x_{i2};\dots ;x_{in})$与${\mathbf{x}}_{\mathbf{j}}=(x_{j1};x_{j2};\dots ;x_{jn})$，最常用的距离计算方法为闵可夫斯基距离（Minkowski distance）：
$${\text{dis}}_{mk}({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})={\left(\sum _{u=1}^n{|x_{iu}-x_{ju}|}^p\right)}^{\frac{1}{p}}$$

无序属性的距离计算

对于无序属性，一般采用VDM方法来量化各属性值间的距离，然后结合闵可夫斯基距离即可计算不同样本间的距离。
假设有$n_c$个有序属性，$n-n_c$个无序属性，有：


其中$m_{u,a}$表示在属性$u$上取值为$a$的样本数，$m_{u,a,i}$表示在簇$C_i$中在属性$u$上取值为$a$的样本数。
此外，当样本空间中不同属性的重要性不同时，可使用"加权距离。

原型聚类

此类算法假设聚类结构能通过一组原型刻画。算法先对原型进行初始化，然后对原型进行迭代更新求解。

k均值算法

k均值算法先随机选取k（待分类类别数）个样本点作为初始均值向量，然后通过更新离均值向量更近的点为均值向量对应的类别，再重新计算各类别均值向量的方式，不断迭代直到均值向量无法再被更新。算法流程如下：

学习向量量化

学习向量量化也先初始化一组原型向量，然后随机选取样本点并找到离样本点最近的原型向量，根据原型向量与该样本点是否同类别来更新原型向量：相同类别则原型向量按一定步长靠近样本点，反之则远离。算法流程如下：

高斯混合聚类

这种方法采用概率模型而非原型向量来描述聚类原型。它假设对于每个类别来说，样本$\mathbf{x}$服从高斯分布：
$$p(\mathbf{x})=\frac{1}{{(2\pi )}^{\frac{n}{2}}{|\Sigma |}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathbf{T}}{\Sigma }^{-1}(\mathbf{x}-\mathbf{\mu })}$$
因此，对于$k$个类别来说，对样本$\mathbf{x}$，有高斯混合分布：
$$p_{\mathcal{M}}(\mathbf{x})=\sum _{i=1}^k{\alpha }_i\cdot p(\mathbf{x}\mid {\mathbf{\mu }}_{\mathbf{i}},{\Sigma }_i)$$
${\alpha }_i$为混合系数，令${\sum }_{i=1}^k{\alpha }_i=1$。
这样，只要能够确定样本${\mathbf{x}}_{\mathbf{j}}$是由哪个高斯分布生成的（这里用$z_j$表示），即可确定该样本属于哪一类。这种选择可由样本确定的条件下计算各类的后验概率得到。根据贝叶斯定理：

这个后验给出了样本${\mathbf{x}}_{\mathbf{j}}$是由第$i$个高斯混合成分生成的概率，也即其属于第$i$类的概率，将其简记为${\gamma }_{ji}$。因此，对于每个样本${\mathbf{x}}_{\mathbf{j}}$的簇标记${\lambda }_j$，应有：
$${\lambda }_j=\underset{i\in 1,2,\dots ,k}{\mathrm{argmax}}{\gamma }_{ji}$$
从原型聚类的角度来看，高斯混合聚类是采用概率模型(高斯分布)对原型进行刻画，簇划分则由原型对应的后验概率确定。
为求解模型参数$({\alpha }_i,{\mathbf{\mu }}_{\mathbf{i}},{\mathbf{\Sigma }}_{\mathbf{i}})\mid 1\le i\le k$：

一般使用EM算法进行迭代求解。
高斯混合聚类算法流程如下：

其中提到的式9.30即是上述提到的样本确定的条件下其属于某一类的后验概率。

密度聚类

此类算法假设聚类结构能通过样本分布的紧密程度确定。一般通过考察样本间的可连接性，不断扩展聚类簇以得到最终结果。

DBSCAN

DBSCAN是一种著名的密度聚类算法。这种算法通过$ϵ$-邻域和邻域中的样本个数$MinPts$来构建可连接性，并根据是否可连接进行分类。其算法流程如下：

层次聚类

层次聚类试图在不同层次对数据集进行划分（自底向上或自顶向下），从而形成树形的聚类结构。

AGNES

AGNES是一种采用自底向上聚合策略的层次聚类法。它先将数据集中的每个样本看作一个初始聚类簇，然后在算法运行的每一步中找出距离最近的两个聚类簇进行合并，该过程不断重复，直至达到预设的聚类簇个数。根据聚类簇间距离计算方式的不同，AGNES 算法被相应地称为“单链接”（最小距离）、“全链接”（最大距离）或“均链接”（平均距离）算法。