聚类篇——（五）层次聚类

前面博文介绍了两种常用基于划分的聚类算法K-means聚类、K-Medoids聚类，还有有序样品聚类。本篇博文介绍基于层次的聚类算法，层次聚类主要有两种类型：合并的层次聚类和分裂的层次聚类。合并的层次聚类是一种自底向上的聚类算法，从最底层（即每个数据点为一类）开始，每一次合并最相似的类，直到全部数据点都合并到一类时或者达到某个终止条件时停止，大部分层次聚类都是采用这种方法处理。分裂的层次聚类是一种自顶向下的聚类方法，从最顶层（即全部数据点为一类）开始，然后把根节点分裂为一些子类，每个子类再递归地继续往下分裂，直到每个类中仅包含一个数据点。

在此主要介绍合并的层次聚类，其思想是开始每个样本为一类，根据类与类之间的距离，再进行逐级合并。类与类之间的距离计算方法有直接距离法、最短距离法、最远距离法、中间距离法、重心法、类平均法、离差平方和法，不同的方法，最终的聚类结果可能会有所不同。下面基于一个实际应用例子，某个地区9个农业区进行层次聚类,（具体指标数值见表1），详细介绍不同方法的计算过程，以及如何确定类的个数。

1. 对数据进行标准化处理

数据标准化方法可参见前面的博文“聚类篇——（一）聚类分析概述”，在此采用极差法对原数据进行标准化处理，得到表2
$z_i=\frac{x_i-x_{\min }}{x_{\max }-x_{\min }}$

2. 计算样本间的距离

计算样本间距离的方法可参见前面的博文“聚类篇——（一）聚类分析概述”，在此采用绝对值距离法计算样本间的距离，得到表3距离矩阵D
$d\left(x,y\right)=\sum _{i=1}^n|x_i-y_i|,i=1,2,\cdots ,n$

3. 根据类与类之间的距离，进行逐级合并

根据类与类之间的距离，再进行逐级合并。类与类之间距离计算方法不同，类与类之间的合并策略不同，最终的聚类结果可能会有所不同。常用的类与类之间的距离计算方法有直接距离法、最短距离法、最远距离法、中间距离法、重心法、类平均法、离差平方和法，下面将依次展开介绍。

3.1 直接距离法

先把各个分类对象单独视为一类，然后根据距离最小的原则，依次选出一对分类对象，并形成新类。如果其中一个分类对象已归为一类，则把另一个也归为该类；如果一对分类对象正好属于已归的两类，则把这两类并为一类。每一次归并，都划去该对象所在的列与列序相同的行。依次就可以把全部分类对象归为一类，这样就可以根据归并的先后顺序做出聚类谱系图。

• 第1步：在表3距离矩阵D中，除去对角线元素以外，$d_{49}=d_{94}=0.51$为最小者，故将第4区与第9区并为一类，划去第9行和第9列；
• 第2步：在余下的元素中，除去对角线元素外，$d_{75}=d_{57}=0.83$为最小者，故将第5区与第7区并为一类，划去第7行和第7列；
• 第3步：在第二步之后余下的元素中，除对角线元素以外，$d_{82}=d_{28}=0.88$为最小者，故将第2区与第8区并为一类，划去第8行和第8列；
• 第4步：在第3步之后余下的元素中，除对角先元素以外，$d_{43}=d_{34}=1.23$为最小者，故将第3区与第4区并为一类，划去第4行和第4列，此时第3、4、9区已归并为一类；
• 第5步：在第4步之后余下的元素中，除对角线元素以外，$d_{21}=d_{12}=1.52$为最小者，故将第1区与第2区并为一类，划去第2行和第2列，此时第1、2、8区已归并为一类；
• 第6步：在第5步之后余下的元素中，除对角线以外，$d_{65}=d_{56}=1.78$为最小者，故将第5区与第6区并为一类，划去第6行和第6列，此时第5、6、7区已归并为一类；
• 第7步：在第6步之后余下的元素中，除对角线元素外，$d_{31}=d_{13}=3.10$为最小者，故将第1区与第3区并为一类，划去第3行和第3列，此时第1、2、3、4、8、9区已归并为一类；
• 第8步：在第7步之后余下的元素中，除对角线元素以外，$d_{51}=d_{15}=5.86$，故将第1区与第5区并为一类，划去第5行和第5列，此时第1-9区均归并为一类。
  
  

3.2 最短距离法

最短距离聚类法，是在原来的$n\times n$距离矩阵的非对角线找出$d_{pq}=\min \left\{d_{ij}\right\}$，把分类对象$G_p$和$G_q$归并为以新类$G_r$，然后按计算公式
$d_{rk}=\min \left\{d_{pk},d_{qk}\right\}\left(k\ne p,q\right)$ (1)
计算原来各类与新类之间的距离，这样就得到一个新的（m-1）阶的距离矩阵；再从新的距离矩阵中选出最小者$d_{ij}$，把$G_i$和$G_j$归并成新类；再计算各类与新类的距离，这样一直下去，直至各分类对象被归为一类为止。

算法描述：
假设$N\times N$的相似矩阵$D=\left(d_{ij}\right)$。聚类结果用序号0,1,2,…,(n-1)表示，$L\left(m\right)$表示第$m$次聚类的层次。簇的序号用(m)表示，簇$(r)$和$(s)$的相似系数(即距离矩阵中的值)用$d_{rs}$表示。下面是算法的具体描述：
（1） $L\left(0\right)=0$，$m=0$；
（2） 从当前所有簇对中，根据$d_{rs}=\min d_{ij}$找距离最近(最相似)的两个簇$(r)$,$(s)$;
（3） 将簇的序列号加1，即$m=m+1$，将簇$(r)$,$(s)$合并，并将聚类的层次$L\left(m\right)=d_{rs}$；
（4） 更新相似矩阵D，删除簇$(r)$,$(s)$相应的行和列，并在矩阵中加上新生成的簇相应的行和列。相似矩阵中新生成的簇(r,s)和原来簇(k)的相似度由下列定义：
$d_{k,rs}=\min \left\{d_{kr},d_{ks}\right\}$
（5） 重复（2）~（4），直到所有对象都被合到一个簇为止。





由于最短距离法每次并类后都是将该类与其它类中距离最近的两个样本之间的距离作为该类与其他类的距离，所以此聚类方法的逐次并类距离之间的差距一般来说可能会越来越小。因此该方法具有距离收缩的性质。但是最短距离法认为，只要单个样本之间的相异度小，就认为两个组是紧密靠拢的，而不管其他样本的相异度如何，这倾向于合并由一系列本身位置靠近的样本。这种现象称为“链条”，是该方法的不足之处，故最短距离聚类方法产生的聚类可能破坏类的“紧凑性”。

3.3 最远距离法

最远距离聚类法与最短距离聚类法的区别在于计算原来的类与新类之间的距离时采用的公式不同。$G_p$和$G_q$归并为以新类$G_r$，计算原来各类$G_k$与新类$G_r$之间的距离为
$d_{rk}=\max \left\{d_{pk},d_{qk}\right\}\left(k\ne p,q\right)$ (2)






对于最远距离法，只有当两个组的并集中所有的样本都相对近似时才被认为是靠近的。这将倾向于产生具有小直径的紧凑类。然而，它可能产生违背“闭合性”的类。也就是说，分配到某个类的样本距其他类成员的距离可能比距离本类中的某些成员的距离更短。

3.4 中间距离法

中间距离法是苟沃（Gower,1966）提出的方法，又称平均连接法。此聚类方法在定义类与类之间的距离时，既不采用两类之间的最近距离也不采用两类之间的最远距离，而是介于两者之间的中间距离，它避免了最远距离与最短距离计算上的弊端。$G_p$和$G_q$归并为以新类$G_r$，计算原来各类$G_k$与新类$G_r$之间的距离为
$d_{kr}^2=\frac{1}{2}{d}_{kp}^2+\frac{1}{2}{d}_{kq}^2-\frac{1}{4}{d}_{pq}^2,\left(k\ne p,q\right)$ (3)

3.5 重心法（采用欧式距离）

重心法定义类与类之间距离为两类的重心（各类所有样本的均值）之间的距离，利用重心指标可以很好的代表某个类，但对样本信息的利用不是很充分。
设$G_p$和$G_q$分别有样本$n_p,n_q$个，重心分别为${\bar{X}}_p,{\bar{X}}_q$，重心法将$G_p$和$G_q$之间的距离定义为其重心${\bar{X}}_p,{\bar{X}}_q$之间的距离，并用欧式距离来表示，即
$d_{pq}^2={\left({\bar{X}}_p-{\bar{X}}_q\right)}^T\left({\bar{X}}_p-{\bar{X}}_q\right)$
将$G_p$和$G_q$合并为$G_r$，则$G_r$内样本的个数为$n_r=n_p+n_q$，它的重心是${\bar{X}}^r=\frac{1}{n_r}\left(n_p{\bar{X}}^p+n_q{\bar{X}}^q\right)$
设类$G_k$的重心为${\bar{X}}_k$，$G_k$与新类$G_r$之间的距离是
$d_{rk}^2=\frac{n_p}{n_r}{d}_{pk}^2+\frac{n_q}{n_r}{d}_{qk}^2-\frac{n_p{n}_q}{n_r^2}{d}_{pq}^2$ (4)

3.6 类平均法

类平均距离是指用两个聚类所有数据点间的距离的平均距离代表两个聚类的距离，组平均连接法采用的距离定义为两类之间的平均平方距离。将$G_p$类和$G_q$类合并为一类$G_r$后，$G_r$类与其它类$G_k$类的距离
$d_{kr}^2=\frac{n_p}{n_p+n_q}{d}_{kp}^2+\frac{n_q}{n_p+n_q}{d}_{kq}^2$ (5)
其中，$n_p,n_q,n_r,n_k$分别是$G_p,G_q,G_r,G_k$类中的样品数，$n_r=n_p+n_q$。

3.7 离差平方和（采用欧式距离）

离差平方和的思想来自于方差分析，是由Ward于1936年提出，1967年经Orloci等人发展建立起来的一种系统聚类方法。该方法认为，如果分类正确，同样样本的离差平方和应当较小，类与类之间的离差平方和应当较大。具体是先将n个样本看成一类，然后每次缩小一类。每缩小一类，离差平方和就要增大，选择使S增加最小的两类合并，直到所有的样本归为一类。对每一类计算所有变量的均值，然后对每一样本计算到类均值的距离平方，再对所有样本求这些距离之和。在每一步，合并的两类是使类内距离总平方和增加最小的类。
假设已对$n$个样品进行分类，并且分类个数为$k$，$G_1,G_2,\cdots ,G_k$表示为$k$个类，$G_t$类中的样品个数用$n_t$表示，$G_t$类的重心用${\bar{X}}^t$表示，$G_t$类的第$i$个样品用$X_i^t$表示$\left(i=1,2,\cdots ,n\right)$，则$G_t$类中的样品离差平方和表示为
$W_t=\sum _{i=1}^{n_t}{\left(X_i^t-{\bar{X}}^t\right)}^T\left(X_i^t-{\bar{X}}^t\right)$
其中$X_i^t，{\bar{X}}^t$为$m$维向量，$W_t$为一数值$\left(t=1,2,\cdots ,k\right)$。
$k$个类的总的离差平方和为
$W=\sum _{t=1}^k{W}_t=\sum _{t=1}^k\sum _{i=1}^{n_t}{\left(X_i^t-{\bar{X}}^t\right)}^T\left(X_i^t-{\bar{X}}^t\right)$
离差平方和法的基本原理是：先把$n$个样品各自分成一类，此时$W=0$。然后每次对其中的某两个类进行合并，因每次缩小一类离差平方和就会增加，这时应该选使$W$增加最小的两个类进行合并，直到所有的样品合并为一类为止。
离差平方和法是把某两类进行合并后所增加的离差平方和看成是这两类间的平方距离，即$D_{pq}^2=W_r-\left(W_p+W_q\right)$，表示$G_p$类和$G_q$的平方距离，其中$G_r=\left\{G_p,G_q\right\}$，$W_r,W_p,W_q$分别为$G_r,G_p,G_q$类中样品的离差平方和，由定义得：
$$W_r=\sum _{i=1}^{n_r}{\left(X_i^r-{\bar{X}}^r\right)}^T\left(X_i^r-{\bar{X}}^r\right)=\sum _{i=1}^{n_p}{\left(X_i^p-{\bar{X}}^r\right)}^T\left(X_i^p-{\bar{X}}^r\right)+\sum _{i=1}^{n_q}{\left(X_i^q-{\bar{X}}^r\right)}^T\left(X_i^q-{\bar{X}}^r\right)$$
其中，${\bar{X}}^r=\frac{1}{n_r}\left(n_p{\bar{X}}^p+n_q{\bar{X}}^q\right)$
$$D_{pq}^2=W_r-\left(W_p+W_q\right)=\frac{n_p{n}_q}{n_r}{\left({\bar{X}}^p-{\bar{X}}^q\right)}^T\left({\bar{X}}^p-{\bar{X}}^q\right)$$
当样品间距离采用欧式距离时，则上式为$D_{pq}^2=\frac{n_p{n}_q}{n_r}{d}_{pq}^2$，其中$d_{pq}^2$为$G_p、G_q$的重心${\bar{X}}^p、{\bar{X}}^q$之间的平方距离，$d_{pq}^2=d^2\left({\bar{X}}^p,{\bar{X}}^q\right)$。
当$G_p,G_q$合并为新类$G_r$后，则$G_r$和其他类$G_k$之间的距离为：
$D_{rk}^2=\frac{n_r{n}_k}{n_r+n_k}{\left(X^r-{\bar{X}}^k\right)}^T\left(X^r-{\bar{X}}^k\right)=\frac{n_p+n_k}{n_r+n_k}{D}_{pk}^2+\frac{n_q+n_k}{n_r+n_k}{D}_{qk}^2-\frac{n_k}{n_r+n_k}{D}_{pq}^2$ (6)

4. 类个数的确定

聚类分析中，类的个数如何确定是一个十分困难和关键的问题。下面介绍确定类个数的几种方法，参见《应用多元统计分析》–高惠璇。

4.1 按适当的阈值确定

系统聚类中的谱系聚类图只反映样品间的亲疏关系，它本身并没有给出分类，因此需要规定一个临界相似性尺度，用以分割谱系图而得到样品的分类。比如给定临界值（阈值）=5，当类间距离<=5时形成的各个类中所包含的样品间关系密切，应归属为同一类，这相当于在距离>5处切一刀，则图7可划分为两类：{专家4，专家7，专家3，专家5}，{专家1，专家2，专家6}。

4.2 根据数据点的散布图直观地确定类的个数

如果考察的指标只有两个，则可通过数据点的散布图直观地确定类的个数。如果有三个变量，可以绘制三维散布图并通过旋转三维坐标轴有数据点的分布来确定应分几个类。当考察的指标在三个以上时，可以由这些指标综合出两个或三个综合变量后再绘制数据点在综合变量上的散布图，从而确定分类个数。

4.3 根据统计量确定分类个数

可以采用一些统计量近似的检验分类个数如何选择更合适。
（1）$R^2$ 统计量
假定已将$n$个样品分成$k$类，记为$G_1,G_2,\cdots ,G_k,n_t$表示$G_t$类的样品个数($n_1+n_2+\cdots +n_t=n$)，${\bar{X}}^{(t)}$表示$G_t$的重心，${\bar{X}}_{(i)}^{(t)}$表示$G_t$中的第$i$个样品($i=1,\cdots ,n_t$)，$\bar{X}$表示所有样品的重心，则$G_t$类中$n_t$个样品的离差平方和为
$$W_t=\sum _{i=1}^{n_t}{\left(X_{\left(i\right)}^{\left(t\right)}-{\bar{X}}^{\left(t\right)}\right)}^{\prime }\left(X_{\left(i\right)}^{\left(t\right)}-{\bar{X}}^{\left(t\right)}\right)$$
其中$X_{\left(i\right)}^{\left(t\right)},{\bar{X}}^{\left(t\right)},\bar{X}$均为$m$维向量，$W_t$为以数值；所有样品的总离差平方和为
$$T=\sum _{t=1}^k\sum _{i=1}^{n_t}{\left(X_{\left(i\right)}^{\left(t\right)}-\bar{X}\right)}^{\prime }\left(X_{\left(i\right)}^{\left(t\right)}-\bar{X}\right)$$
$T$又可以分解为
$$T=\sum _{t=1}^k\sum _{i=1}^{n_t}{\left(X_{\left(i\right)}^{\left(t\right)}-{\bar{X}}^{{}^{\left(t\right)}}+{\bar{X}}^{{}^{\left(t\right)}}-\bar{X}\right)}^{\prime }\left(X_{\left(i\right)}^{\left(t\right)}-{\bar{X}}^{{}^{\left(t\right)}}+{\bar{X}}^{{}^{\left(t\right)}}-\bar{X}\right)=\sum _{t=1}^k{W}_t+\sum _{t=1}^k{n}_t{\left({\bar{X}}^{{}^{\left(t\right)}}-\bar{X}\right)}^{\prime }\left({\bar{X}}^{{}^{\left(t\right)}}-\bar{X}\right)=P_k+B_k$$
令
$$R_k^2=\frac{B_k}{T}=1-\frac{P_k}{T}$$
则$R_k^2$值越大，也就是$B_k/T$越大，表示$k$个类的类间偏差平方和的总和$B_k$在总离差平方和$T$中占的比例越大，这说明$k$个类越能够区分开。因此$R_k^2$统计量可用于评价合并为$k$个类时的聚类效果。$R_k^2$越大，聚类效果越好。$R_k^2$的值总是在0和1之间，当$n$个样品各自为不同的类时（$T=B_n$），$R_k^2=1$；当$n$个样品最后合并成同一类时（$T=P_n$），$R_k^2=0$，而且$R_k^2$的值总是随着分类个数$k$的减少而变小。如果孤立地看每次合并后的$R_k^2$的值，其意义是不大的。如果希望通过分析$R_k^2$的值来确定$n$个样品应该分成几类最合适，则应该看$R_k^2$值的变化。比如，在分为4个类之前的并类过程中$R_k^2$的值减少是逐渐的，改变不大；假定分为4类时$R_4^2=0.797$，而下一次合并后分为3类时$R_3^2$下降较多，比如$R_3^2=0.402$，这时通过分析$R_k^2$统计量的变化可得出，分为4类是较合适的。
（2）半偏$R^2$统计量
$$半偏R_k^2=B_{KL}^2/T=R_{k+1}^2-R_k^2$$
其中$B_{KL}^2=W_M-\left(W_K+W_L\right)$，表示合并类$G_K$和$G_L$为新类$G_M$后类内离差平方和的增值，该统计量用于评价合并$G_K$和$G_L$的效果。根据以上定义，半偏$R_k^2$的值是上一步骤$R_{k+1}^2$与该步骤$R_k^2$的差值，故看$R_k^2$变化的大小可以得到半偏$R_k^2$。某步骤半偏$R_k^2$的值越大，说明上一次合并为$k+1$个类后的效果好，该统计量用于评价一次合并的效果。
（3）伪$F$统计量
$$伪F_k=\frac{\left(T-P_k\right)/\left(k-1\right)}{P_k/\left(n-k\right)}=\frac{B_k}{P_k}\frac{n-k}{k-1}$$
该统计量用于评价分为$k$个类的聚类效果，伪$F_k$值越大表示这$n$个样品可显著地分为$k$个类。伪$F_k$统计量可以作为确定类个数的有用指标，但并不具有像$F$统计量的分布。
（4）伪$t^2$统计量
$$伪t^2=\frac{B_{KL}^2}{\left(W_K+W_L\right)/\left(n_K+n_L-2\right)}$$
该统计量用以评价此步骤合并$G_K$和$G_L$的效果。由伪$t^2$统计量的定义可知，该值大表示$G_K$和$G_L$合并为$G_M$后类内离差平方和的增量$B_{KL}^2$相对于$G_K$和$G_L$两类的类内离差平方和大。这表明上一次被合并的两个类是很分开的，也就是上一次聚类的效果是好的。伪$t^2$统计量可以作为确定类个数的有用指标，但并不具有像随机变量$t^2$那样的分布。
例：根据我国16个地区农民在1982年支出情况的抽样调查数据汇总资料，记录了反映每人 平均生活消费支出情况的六个指标，利用调查资料对16个地区进行分类。

对数据进行标准化变换，样本间距离采用欧式距离，类间距离采用类平均距离法，得到以下并类过程及谱系聚类图。根据谱系聚类图，很容易得到分为二类、三类、四类的聚类结果，但是分成几类最合适？



总结
层次聚类是常用的聚类算法之一，优点是可解释性好，且能产生高质量的聚类，能很好对K-means不能解决的非球形族进行聚类。但是层次聚类的时间复杂度高$O(m^3)$，m为数据点的个数，具有贪心算法的缺点，一步错步步错。层次聚类在逐级合并时采用的策略得到的聚类结果不同，在实际应用中，可以尝试采用不同策略，然后结合自己的业务知识选择一个较优的结果。
ps：初衷是通过撰写博文记录自己所学所用，实现知识的梳理与积累；将其分享，希望能够帮到面临同样困惑的小伙伴儿。如发现博文中存在问题，欢迎随时交流~~