第十四章聚类方法.14.2.3距离公式证明

本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。
公式输入请参考： 在线Latex公式

主要内容

系统聚类法单调性：定义与表达式，实际含义
定义法证明单调性：由定义证明最长距离法、最短距离法的单调性
公式法证明单调性：由距离递推公式证明类平均法、可变类平均法、可变法、Ward法的单调性
重心法的距离递推公式：证明方法a与b
Ward法的距离递推公式：基于重心法距离递推公式的证明
空间的浓缩与扩张：矩阵大小的定义，聚类方法的浓缩与扩张的定义
聚类案例：离差平方和法：基于欧式距离的离差平方和法确定聚类数k
系统聚类法的比较：聚类方法的收缩与扩张

系统聚类法的性质

1、 单调性

在聚类分析过程中，并类距离分别为$d_k(k=1,2,3,\cdots )$，若满⾜：
$$d_1\le d_2\le \cdots \le d_k\le d_{k+1}\le \cdots$$
（依次递增）则称该聚类⽅法具有单调性。
除重⼼法和中间距离法外，其他系统聚类法均满⾜单调性条件。
下面是并类距离的通用表达公式，加入了惩罚因子：
$$d_{k\gamma }^2={\alpha }_p{d}_{kp}^2+{\alpha }_q{d}_{kq}^2+\beta d_{pq}^2+\gamma |d_{kp}^2-d_{kq}^2|$$
可以利⽤距离平⽅的递推公式可证明：类平均法、可变类平均法、可变法、Ward法的单调性
[例题]从定义直接证明最⻓和最短距离法的单调性：
数学公式就不写了，本身用最短距离法产生并类，每次都是取最短距离的两个类进行合并，因此每次产生的并类距离都是依次递增的。

[例题]利⽤距离平⽅的递推公式可证明：类平均法、可变类平均法、可变法、Ward法的单调性
上面四类方法的$\gamma =0$，因此
$$d_{k\gamma }^2={\alpha }_p{d}_{kp}^2+{\alpha }_q{d}_{kq}^2+\beta d_{pq}^2$$
当系数满足：
$${\alpha }_p\ge 0,{\alpha }_q\ge 0,{\alpha }_p+{\alpha }_q+\beta \ge 1$$
则可以为上上式找出一个下界，因为：$d_{kp}^2\ge d_{pq}^2,d_{kq}^2\ge d_{pq}^2$，（第L步选择了pq合并，因此pq并类距离最小）则：
$$d_{k\gamma }^2={\alpha }_p{d}_{kp}^2+{\alpha }_q{d}_{kq}^2+\beta d_{pq}^2\ge ({\alpha }_p+{\alpha }_q+\beta )d_{pq}^2$$
由条件：${\alpha }_p+{\alpha }_q+\beta \ge 1$
上面可以继续缩放：
$$d_{k\gamma }^2={\alpha }_p{d}_{kp}^2+{\alpha }_q{d}_{kq}^2+\beta d_{pq}^2\ge ({\alpha }_p+{\alpha }_q+\beta )d_{pq}^2\ge d_{pq}^2$$
也就得到并类距离满足：
$$D_{L+1}\ge D_L$$
有了这个结论，现在就是要把四个方法的系数带进来，并证明四个方法的系数满足
$${\alpha }_p\ge 0,{\alpha }_q\ge 0,{\alpha }_p+{\alpha }_q+\beta \ge 1$$
具体步骤省略。

2、 空间的浓缩和扩张

(1)定义矩阵大小：
设A和B为同阶矩阵，若$A$的每⼀个元素不小于$B$中对应位置的元素，则记作$A\ge B$。
(2)聚类⽅法浓缩与扩张：
设两种系统聚类法$A$和$B$，在第$i$步的距离矩阵分别为$A_i$和$B_i（i=1，2，3\dots ）$，若$A_i>B_i $，则称⽅法$A$⽐⽅法$B$使空间扩张，或⽅法$B$⽐⽅法$A$浓缩。

[例题]
已知5个样品,对每样品考察特定指标得数据：1,2,5,7,10。试基于欧⽒距离，运⽤离差平⽅和法求5个样品分为k类($k＝5,4,3,2,1$)的分类法$b_k$ 。
这里用欧氏距离计算两个样本的距离是这样算的：
$$\begin{gathered} 2\leftrightarrow 5,\frac{(5-2{)}^2}{2}=\frac{9}{2} \\ 1\leftrightarrow 7,\frac{(7-1{)}^2}{2}=\frac{36}{2} \\ \cdots \end{gathered}$$
因此可以写成距离矩阵：
$$D^{(1)}=\frac{1}{2}\left[\begin{array}{ccccc}0& 1& 16& 36& 81\\ 1& 0& 9& 25& 64\\ 16& 9& 0& 4& 25\\ 36& 25& 4& 0& 9\\ 81& 64& 25& 9& 0\end{array}\right]$$
可以看到这里面1和2距离最小，因此加入集合：
$C{L}_4=\{1,2\},D_1=\sqrt{\frac{(2-1{)}^2}{2}}=0.707$
然后算新类到样本：5的距离：
$$D_{rk}^2=\frac{n_k+n_p}{n_r+n_k}{D}_{pk}^2+\frac{n_k+n_q}{n_r+n_k}{D}_{qk}^2+\frac{n_k}{n_r+n_k}{D}_{pq}^2$$
这里新类有2个元素，$n_r=2$，样本5是一个元素，因此$n_k=1$，分别对新类里面的两个元素有：$n_p=1,n_q=1$，然后$D_{pk}^2=1\leftrightarrow 5,\frac{(5-1{)}^2}{2}=\frac{16}{2}$
$D_{1k}^2=2\leftrightarrow 5,\frac{(5-2{)}^2}{2}=\frac{9}{2}$
带入上面的公式：
$$D_{rk}^2=\frac{49}{6}$$
同理可以计算新类到其他两个样本的距离为：$\frac{121}{6},\frac{289}{6}$，因此得到
$$D^{(2)}=\left[\begin{array}{cccc}0& \frac{49}{6}& \frac{121}{6}& \frac{289}{6}\\ \frac{49}{6}& 0& 2& 12.5\\ \frac{121}{6}& 2& 0& 4.5\\ \frac{289}{6}& 12.5& 4.5& 0\end{array}\right]$$
从矩阵可以得到新类为：$C{L}_3=\{5,7\},D_2=1.414$
再按公式算$C{L}_3,C{L}_4$类间距的时候，$n_r=2,n_k=2$，带入公式后：
$$\frac{1+2}{2+2}\frac{49}{6}+\frac{1+2}{2+2}\frac{121}{6}-\frac{2}{2+2}2=\frac{81}{4}$$
按公式算$C{L}_3$到样本：10的类间距：
$$\frac{1+1}{2+1}12.5+\frac{1+1}{2+1}4.5-\frac{1}{2+1}2=\frac{32}{3}$$
这个时候得到第三个距离矩阵：
$$D^{(3)}=\begin{array}{c}C{L}_3\\ C{L}_4\\ 10\end{array}\left[\begin{array}{ccc}0& \frac{81}{4}& \frac{32}{3}\\ \frac{81}{4}& 0& \frac{289}{2}\\ \frac{32}{3}& \frac{289}{2}& 0\end{array}\right]$$
这里可以看到$\frac{32}{3}$最小，因此：$C{L}_2=\{10,C{L}_3\},D_3=\sqrt{\frac{32}{3}}=3.266$
再次计算$C{L}_2,C{L}_4$类间距，此时$n_r=3,n_k=2$，带入公式：
$$\frac{1+2}{3+2}\frac{289}{6}+\frac{2+2}{3+2}\frac{81}{4}-\frac{2}{3+2}\frac{32}{3}=\frac{245}{6}$$
得到第四个距离矩阵：
$$D^{(4)}=\begin{array}{c}C{L}_2\\ C{L}_4\end{array}\left[\begin{array}{cc}0& \frac{245}{6}\\ \frac{245}{6}& 0\end{array}\right]$$
得到$D_4=\sqrt{\frac{245}{6}}=6.39$
完毕，这里我们看到：$D_1<D_2<D_3<D_4$，空间距离递增。

系统聚类法的比较

$$\begin{gathered} D_{(最短距离法)}\le D_{(类平均法)} \\ {D}_{(重心法)}\le D_{(类平均法)} \\ {D}_{(最长距离法)}\ge D_{(类平均法)} \end{gathered}$$
$$当0<\beta <1,D_{(可变类平均法)}\le D_{(类平均法)}$$
$$当\beta <0,D_{(可变类平均法)}\ge D_{(类平均法)}$$