多元统计分析--聚类分析（系统性聚类、K均值聚类）

摘要

系统聚类分为Q型聚类与R型聚类。前者对样品进行聚类，后者对变量进行聚类。在本文中，我们探讨对样品的分类。

主要思想

聚类，在样品没有给定历史分类信息的前提下，仅依靠样品之间的相似性进行分类。对于“相似”的样品，将其分为一类。而这种相似性，将要依靠“距离”进行度量。

相似性的度量

正如上述所说，根据样品间的相似性（靠近程度）进行聚类，样品间的靠近程度就利用距离进行衡量。
每个拥有p个变量观测值的样品可以看作p维空间中的一个点，若存在n个样品，即该空间就存在n个点。
利用距离来定义n个点中两两之间的距离，设有两点 $x=(x_1,x_2,...,x_p{)}^T$与$y=(y_1,y_2,...,y_p{)}^T$
下面介绍几种距离：

1. 欧氏距离
   $$d^2(x,y)=\sum _{i=1}^p(x_i-y_i{)}^2=(x-y{)}^T(x-y)$$
2. 绝对距离
   $$d^2(x,y)=\sum _{i=1}^p|x_i-y_i|$$
3. 切氏距离
   $$d^2(x,y)=\underset{i}{\max }|x_i-y_i|$$
4. 明氏距离
   $$d^2(x,y)=\sqrt[k]{\sum _{i=1}^p|x_i-y_i{|}^k}$$
   k=1，明氏距离就是绝对距离；k=2，就是欧氏距离；k=$\infty$，就是切氏距离
5. 兰氏距离
   $$d^2(x,y)=\sum _{i=1}^p\frac{|x_i-y_i|}{|x_i+y_i|}$$
6. 马氏距离
   $$d^2(x,y)=(x-y{)}^T{\Sigma }^{-1}(x-y)$$

度量两个类之间的距离：关于两个类之间的距离，度量方法不同，产生的聚类结果可能不同。
设$G_1、G_2为两个类，d_{ij}为G_1中第i个样品与第j个样品之间的距离$：

1. 最小距离法
   $$D_{12}=min{d}_{ij}$$
2. 最大距离法
   $$D_{12}=max{d}_{ij}$$
3. 中间距离法：$G_2=(G_3,G_4)$
   $$D_{12}=\frac{1}{2}{D}_{13}+\frac{1}{2}{D}_{14}-\frac{1}{4}{D}_{34}(递推公式)$$
4. 重心距离法：分别求出两个总体的重心点，两重心点的距离就是总体之间的距离。
   11.离差平方和法：遵循方差的思想，如果分类正确，那么类内的点离差平方和足够小，类和类之间的离差平方和足够大。

系统聚类

主要思想： 有n个样品，初始状态为n类。首先找出最“相似”的两个样品归为一类，这时，总共有n-1类。再从n-1类中找到距离最近的两类，将其化为一类，重复此操作，不断迭代，直到所有样品归为一个大类。将上述过程可以画成一张树状图，按一定的原则将其分为几类。
例：

K均值聚类

主要思想：事先决定聚类结果的种类数，首先先粗略的将所有样本分为k类，然后根据某种最优准则对各类中的点判断该点的现有分类是否合理，修改不合理（例如G1内的A点到G1中心的距离比A点到其它类中心的距离还要长）的分类。直到所有点都合理（类内距离小，类间距离大），结束。

标准过程：

练习1：
五个一维样品点1，2，4，8，11做K均值聚类，初始分类为$G_1=(1,4,11),G_2=(2,8)$，请完成后续的K均值聚类步骤。

练习2：
拟使用K均值聚类对下列四个样本点进行聚类：$A=(5,4{)}^T,B=(1,-2{)}^T,C=(-1,1{)}^T,D=(3,1{)}^T$设定初始聚类为{A,B}和{C,D}，请写出K均值聚类完整迭代过程，并给出聚类结果。