西瓜书+南瓜书第九章 聚类

9.1聚类任务

聚类试图将训练样本划分为若干个不相交的子集，每个子集称为一个簇，每个簇可能对应于一些潜在的概念但是这些概念对聚类算法而言事先是未知的。
聚类既能作为一个单独过程，用于找寻数据内在的分布结构，也可作为分类等其他学习任务的前驱过程。例如，在一些商业应用中需对新用户的类型进行判别，但定义“用户类型”对商家来说却可能不太容易，此时往往可先对用户数据进行聚类，根据聚类结果将每个簇定义为一个类，然后在基于这些类训练分类模型，用于判别新用户的类型。

9.2性能度量

聚类性能度量亦聚类“有效性指标”，对聚类结果，我们需要通过某种性能度量来评估其好坏；另一方面，若明确了最终将要使用的性能度量，则可直接将其作为聚类过程的优化目标，从而更好地得到符合要求的聚类结果。
聚类性能度量大致有两类，一类是将聚类结果与某个“参考模型”进行比较，称为“外部指标”；另一类是直接考察聚类结果而不利用任何参考模型，称为内部指标。
对数据集$D=\{x_1，x_2,\dots ,x_m\}$,，假定通过聚类给出的簇划分为$C=\{C_1,C_2\dots ,C_k\}$，参考模型给出的簇划分为$C^{\ast }=\{C_1^{\ast },C_2^{\ast }\dots ,C_k^{\ast }\}$。相应地，令$\lambda$和${\lambda }^{\ast }$分别表示$C$和$C^{\ast }$对应的簇标记向量，我们将样本两两配对考虑，定义
$$\begin{gathered} a=|SS|,SS=\{(x_i,x_j)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\} \\ b=|SD|,SD=\{(x_i,x_j)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\} \\ c=|DS|,DS=\{(x_i,x_j)|{\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\} \\ d=|DD|,DD=\{(x_i,x_j)|{\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\} \end{gathered}$$
其中集合SS包含了在C中隶属于相同簇且在$C^{\ast }$中也隶属于相同簇的样本对，集合SD包含了在C中隶属于相同簇但在$C^{\ast }$中隶属于不同簇的样本对,$\cdots \cdots$由于每个样本对$(x_i,x_j)(i<j)$仅能出现在一个集合中，因此有$a+b+c+d=m(m-1)/2$成立
基于上式可导出下面这些常用的聚类性能度量外部指标:
Jaccard 系数
$$JC=\frac{a}{a+b+c}$$
FM指数
$$FMI=\sqrt{\frac{a}{a+b}\cdot \frac{a}{a+c}}$$
Rand指数
$$RI=\frac{2(a+d)}{m(m-1)}$$
显然，上述性能度量的结果均值在[0,1]区间，值越大越好。
考虑聚类结果的簇划分$C=\{C_1,C_2,...,C_k\}$定义
$$\begin{gathered} avg(C)=\frac{2}{|C|(|C|-1)}\sum _{1\le i\le j\le |C|}dist(x_i,x_j), \\ diam(C)=\underset{1\le i\le j\le |C|}{\max }dist(x_i,x_j), \\ {d}_{min(}{C}_i,C_j)=\underset{x_i\in C_i,x_j\in C_j}{\min }dist(x_i,x_j), \\ {d}_{cen}(C_i,C_j)=dist({\mu }_i,{\mu }_j), \end{gathered}$$
其中dist(.,.)用于计算两个样本之间的距离；$\mu$代表簇C的中心点$\mu =\frac{1}{|C|}{\sum }_{1\le i\le |C|}{x}_i$显然$avg(C)$对应于簇$C$内样本间的平均距离，$diam(C)$对应于簇$C$内样本的最远距离，$d_{min}(C)$对应于簇$C_i$和簇$C_j$最近样本间的距离，$d_{cen}(C)$对应于簇$C_i$与簇$C_j$中心点间的距离。
基于上式可导出下面这些常用的聚类性能度量内部指标:
DB指数
$$DBI=\frac{1}{k}\sum _{i=1}^k\underset{j\ne i}{\max }(\frac{avg(C_i)+avg(C_j)}{d_{cen}(C_i,C_j)})$$
Dunn指数
$$DI=\underset{1\le i\le k}{\min }\{\underset{j\ne i}{\min }(\frac{d_{min}(C_i,C_j)}{{\max }_{1\le l\le k}diam(C_l)})\}$$
显然DBI值越小越好，DI越大越好

9.3距离计算

9.3.1距离定义

对函数$dist(\cdot ,\cdot )$，若它是一个“距离度量”，则需满足一些基本性质:

非负性:$dist(x_i,x_j)\ge 0$;
同一性:$dist(x_i,x_j)=0$当且仅当$x_i=x_j$
对称性:$dist(x_i,x_j)=dist(x_j,x_i)$
直递性:$dist(x_i,x_j)\le dist(x_i,x_k)+dist(x_k,x_j)$

9.3.2明可夫斯基距离

给定样本$x_i=(x_{i1};x_{i2};\cdots ;x_{in})$与$x_j=(x_{j1};x_{j2};\cdots ;x_{jn})$明可夫斯基距离是
$$dis{t}_{mk}(x_i,x_j)=(\sum _{u=1}^n|x_{iu}-x_{ju}{|}^p{)}^{\frac{1}{p}}$$
当p=2时，退化为欧式距离
$$dis{t}_{ed}(x_i,x_j)=\sqrt{\sum _{u=1}^n|x_{iu}-x_{ju}{|}^2}$$
当p=1时退化为曼哈顿距离
$$dis{t}_{man}(x_i,x_j)=\sum _{u=1}^n|x_{iu}-x_{ju}|$$
我们常常将属性划分为“连续属性”和“离散属性”，前者在定义域上有无穷多个可能的取值，后者在定义域上是有限个取值，然而，在讨论距离计算时，属性上是否定义了“序”关系更重要。例如定义域为{1，2，3}的离散属性与连续属性的性质更接近一些，能直接在属性值上计算距离:“1”与“2”比较接近、与“3”比较远，这样的属性称为“有序属性”；而定义域为{飞机，火车，轮船}这样的离散属性则不能直接在属性值上计算距离，称为“无序属性”。显然，明可夫斯基距离可用于有序属性

9.3.3VDM度量

对于无序属性，可采用VDM.令$m_{m,a}$表示在属性$u$上取值为$a$的样本数,$m_{u,a,i}$表示在第i个样本簇中在属性u上取值为a的样本数，k为样本簇数，则属性u上两个离散值a与b之间的VDM距离为
$$VD{M}_p(a,b)=\sum _{i=1}^k|\frac{m_{u,a,i}}{m_{u,a}}-\frac{m_{u,b,i}}{m_{u,b}}|$$

9.4原型聚类（kmeans）

原型距离是指类结构能通过一组典型的特例刻画。比如男、女类似的。给定样本集$D=x_1,x_2,\cdots ,x_m$，k均值算法针对聚类所得簇划分$C=C_1,C_2,\cdots ,C_k$，求解最小化平方误差问题。
$$E=\sum _{i=1}^k\sum _{x\in C_i}||x-{\mu }_i|{|}_2^2$$
其中${\mu }_i=\frac{1}{|C_i|}{\sum }_{x\in C_i}$x表示簇$C_i$的均值向量。
求解改式需要考虑样本集D所有可能的划分，是一个NP-hard问题。一般来说，我们采用迭代算的近似划分。
k-means算法如下

9.5密度聚类（DBSCAN）

密度聚类假设聚类结构能够通过样本分布的紧密程度确定。它从样本密度的角度考察样本间的可连接性，并基于可连接样本不断扩展聚类簇得到最终的聚类结果。
DBSCAN是密度聚类的代表之一。它基于一组领域参数$(ϵ,MinPts)$刻画样本分布的紧密程度。关于DBSCAN的几个概念如下:
1,$ϵ$-邻域：和样本$x$距离不超过$ϵ$的样本集合
2，核心对象：如果样本$x$和$ϵ$邻域内至少包含$MinPts$个样本，则$x$是一个核心对象。
3，密度直达：$x_j$位于核心对象$x_i$的$ϵ$邻域内，则称$x_i$密度可达$x_j$
4,密度可达：若存在样本序列$x_i,p_1,p_2,\cdots ,p_n,x_j$其中$p_i$密度直达$p_{i+1}$则称$x_i$密度可达$x_j$
5，密度相连：对于$x_i$和$x_j$,如果存在核心对象样本$x_k$，使$x_i$和$x_j$均由$x_k$密度可达，则称$x_i$和$x_j$密度相连。注意密度相连关系是满足对称性的。
DBSCAN定义的簇为：最大密度相连的样本集合为一个簇。
1，连接性：同一个簇内任意两样本必然密度相连
2，最大性：密度可达的两个样本必定属于同一个簇
算法描述

9.6层次聚类（AGNES）

层次聚类试图将数据划分成为不同的层次，因此聚类结果呈现明显的树状结构。
AGNES是一种采用自底向上聚合策略的层次聚类算法。在聚类过程中不断合并距离最近的两个类簇，直到达到预期的聚类簇数目。算法的核心在于如何定义簇之间的距离。
1,最小距离(两个簇最近样本距离)：$d_{min}(C_i,C_j)={\min }_{x\in C_i,z\in C_j}dist(x,z)$
2,最大距离(两个簇最远样本距离)：$d_{max}(C_i,C_j)={\max }_{x\in C_i,z\in C_j}dist(x,z)$
3,平均距离（两个簇两两样本距离均值）：
$$d_{avg}(C_i,C_j)=\frac{1}{|C_i||C_j|}\sum _{x\in C_i}\sum _{z\in C_j}dist(x，z)$$
算法描述

​以上内容源于周志华《机器学习》（西瓜书），笔者以自己的理解写了这篇笔记，如有错误欢迎指正