第十四章聚类方法.14.1聚类的基本概念

本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。
公式输入请参考： 在线Latex公式

主要内容

1.相似度或距离：相似度的定义与适用范围
2.闵可夫斯基距离：表达式与数学性质
3.马哈拉诺比斯距离：表达式与数学性质，同闵可夫斯基距离的比较
4.相关系数：表达式与数学性质，局限性，相关计算
5.夹角余弦：不同类型夹角余弦的表达式与比较
6.相似度：概念含义与相关计算
7.类或簇概念含义与应用范围
8.类与类之间的距离：各类距离表示法的公式与比较

相似度或距离

假设有$n$个样本，每个样本由$m$个属性的特征向量组成，样本集合可以⽤矩阵$X$表示
$$X=[x_{ij}{]}_{m\times n}=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& ⋮& ⋮\\ x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right]$$
聚类的核心概念是相似度（similarity）或距离（distance），有多种相似度或距离定义。
因为相似度直接影响聚类的结果，所以其选择是聚类的根本问题。

距离常用来度量样品间的亲疏程度。设样品$X_{(i)}=(x_{i1},x_{i2},\cdots ,x_{im})$，其中$m$为特征数，则$n$个样品可视为$m$维空间中的$n$个点。
如果有两个样本$X_{(i)}$和$X_{(j)}$之间距离是$d_{ij}$，那么这个距离要满足三个条件：
1.$d_{ij}\ge 0$，对一切$i,j$成立；如果$d_{ij}=0$，则$X_{(i)}=X_{(j)}$（反之亦然）；
2.$d_{ij}=d_{ji}$，对一切$i,j$成立；
3.$d_{ij}\le d_{ik}+d_{kj}$，对一切$i,j,k$成立；

闵可夫斯基距离

闵可夫斯基距离（Minkowski distance）越大相似度越小，距离越小相似度越大。
给定样本集合$X$，$X$是$m$维实数向量空间${\mathbb{R}}^m$中点的集合，其中
$$x_i,x_j\in X,x_i=(x_{1i},x_{2i},\cdots ,x_{mi}{)}^T,x_j=(x_{1j},x_{2j},\cdots ,x_{mj}{)}^T$$
那么两个样本$x_i,x_j$的闵可夫斯基距离定义为：
$$d_{ij}={\left(\sum _{k=1}^m|x_{ki}-x_{kj}{|}^p\right)}^{\frac{1}{p}},p\ge 1$$
特殊情况：
当p=2时称为欧氏距离（Euclidean distance）
$$d_{ij}={\left(\sum _{k=1}^m|x_{ki}-x_{kj}{|}^2\right)}^{\frac{1}{2}}$$
当p=1时称为曼哈顿距离（Manhattan distance）
$$d_{ij}=\sum _{k=1}^m|x_{ki}-x_{kj}|$$
当p=0时称为切比雪夫距离（Chebyshev distance）
$$d_{ij}=\underset{k}{\max }|x_{ki}-x_{kj}|$$

马哈拉诺比斯距离

马哈拉诺比斯距离（Mahalanobis distance），简称马氏距离，也是另一种常用的相似度，考虑各个分量（特征）之间的相关性并与各个分量的尺度无关。马哈拉诺比斯距离越大相似度越小，距离越小相似度越大。
给定一个样本集合$X$，$X=[x_{ij}{]}_{m\times n}$，其协方差矩阵记作$S$。样本$x_i,x_j$之间的马哈拉诺比斯距离定义为
$$\begin{gathered} d_{ij}={\left[(x_i-x_j{)}^T{S}^{-1}(x_i-x_j)\right]}^{\frac{1}{2}} \\ {x}_i=(x_{1i},x_{2i},\cdots ,x_{mi}{)}^T,x_j=(x_{1j},x_{2j},\cdots ,x_{mj}{)}^T \end{gathered}$$

相关系数

样本之间的相似度也可以⽤相关系数（correlation coefficient）来表示。
相关系数的绝对值越接近于1，表示样本越相似
越接近于0，表示样本越不相似。如果等于并不表示二者没有关系，而是表示二者没有线性关系，可能会有非线性关系。
样本$x_i,x_j$之间的相关系数定义为
$$r_{ij}=\frac{{\sum }_{k=1}^m(x_{ki}-{\bar{x}}_i)(x_{kj}-{\bar{x}}_j)}{{\left[{\sum }_{k=1}^m(x_{ki}-{\bar{x}}_i{)}^2{\sum }_{k=1}^m(x_{kj}-{\bar{x}}_j{)}^2\right]}^{\frac{1}{2}}}$$
$${\bar{x}}_i=\frac{1}{m}\sum _{k=1}^m{x}_{ki},{\bar{x}}_j=\frac{1}{m}\sum _{k=1}^m{x}_{kj}$$

余弦相似度

样本之间的相似度也可以⽤夹⻆余弦（cosine）来表示。
夹⻆余弦越接近于1，表示样本越相似
越接近于0，表示样本越不相似。
样本$x_i,x_j$之间的余弦相似度定义为
$$s_{ij}=\frac{{\sum }_{k=1}^m{x}_{ki}{x}_{kj}}{[{\sum }_{k=1}^m{x}_{ki}^2{\sum }_{k=1}^m{x}_{kj}^2{]}^{\frac{1}{2}}}$$

小结

⽤距离度量相似度时，距离越⼩样本越相似。
⽤相关系数时，相关系数越⼤样本越相似。
注意不同相似度度量得到的结果并不⼀定⼀致。

例如下图可以看出，如果从距离的⻆度看，A和B⽐A和C更相似
但从相关系数的⻆度看， A和C⽐A和B更相似。

类或簇

通过聚类得到的类或簇，本质是样本的⼦集。
如果⼀个聚类⽅法假定⼀个样本只能属于⼀个类，或类的交集为空集，那么该⽅法称为硬聚类（hard clustering）方法。
如果⼀个样本可以属于多个类，或类的交集不为空集，那么该⽅法称为软聚类（soft clustering）⽅法。
⽤$G$表示类或簇（cluster)，⽤$x_i,x_j$表示类中的样本，⽤$n_G$表示$G$中样本的个数，⽤$d_{ij}$表示样本$x_i,x_j$之间的距离。
类或簇有多种定义，下⾯给出⼏个常⻅的定义：
1.设$T$为给定的正数，若集合$G$中任意两个样本$x_i,x_j$有：
$$d_{ij}\le T$$
则称$G$为⼀个类或簇
2.设$T$为给定的正数，若对集合$G$的任意样本$x_i$，⼀定存在G中的另⼀个样本$x_j$满足：
$$\frac{1}{n_G-1}\sum _{x_j\in G}{d}_{ij}\le T$$
其中$n_G$表示$G$中样本的个数，则称$G$为⼀个类或簇
3.设$T$为给定的正数，若对集合$G$的任意样本$x_i$，⼀定存在G中的另⼀个样本$x_j$满足：
$$\frac{1}{n_G(n_G-1)}\sum _{x_i\in G}\sum _{x_j\in G}{d}_{ij}\le T$$
则称$G$为⼀个类或簇

类的性质

1.类的均值${\bar{X}}_G$ ,⼜称为类的中⼼
$$\frac{1}{n_G(n_G-1)}\sum _{x_i\in G}\sum _{x_j\in G}{d}_{ij}\le T$$
2.类的直径(diameter)$D_G$，类的直径$D_G$类中任意两个样本之间的最⼤距离，即：
$$D_G=\underset{x_i,x_j\in G}{\max }{d}_{ij}$$
3.2）类的样本散布矩阵 (Scatter Matrix)$A_G$与样本协⽅差矩阵
(Covariance Matrix)$S_G$
$$A_G=\sum _{i=1}^{n_G}(x_i-{\bar{X}}_G)(x_i-{\bar{X}}_G{)}^T$$
$$S_G=\frac{1}{m-1}{A}_G=\frac{1}{m-1}\sum _{i=1}^{n_G}(x_i-{\bar{X}}_G)(x_i-{\bar{X}}_G{)}^T$$
其中m为样本的维数（样本属性的个数）

类间距离度量

下⾯考虑类$G_p$与类$G_q$之间的距离$D(p,q)$，也称为连接（linkage)。 类与类之间的距离也有多种定义。
设类$G_p$包含$n_p$个样本， $G_q$包含$n_q$个样本，分别⽤${\bar{x}}_p$ 和${\bar{x}}_q$ 表示$G_p$和$G_q$的均值，即类的中⼼ 。
那么类间距离度量可以表示为：
1.最短距离或单连接（single linkage)
定义类$G_p$的样本与$G_q$的样本之间的最短距离为两类之间的距离
$$D_{pq}=\min \{d_{ij}|x_i\in G_p,x_j\in G_q\}$$

2.最⻓距离或完全连接（complete linkage)
定义类$G_p$的样本与$G_q$的样本之间的最⻓距离为两类之间的距离
$$D_{pq}=\max \{d_{ij}|x_i\in G_p,x_j\in G_q\}$$

3.中⼼距离
定义类$G_p$与类$G_q$的中⼼${\bar{x}}_p$ 和${\bar{x}}_q$ 之间的距离为两类之间的距离
$$D_{pq}=d_{{\bar{x}}_p{\bar{x}}_q}$$

4.平均距离
定义类$G_p$与类$G_q$任意两个样本之间距离的平均值为两类之间的距离
$$D_{pq}=\frac{1}{n_p{n}_q}\sum _{x_i\in G_p}\sum _{x_j\in G_q}{d}_{ij}$$