关于层次聚类算法的python实现

from scipy.cluster import hierarchy

0.层次聚类的概念

层次聚类和k-means一样都是很常用的聚类方法。层次聚类是对群体的划分，最终将样本划分为树状的结构。他的基本思路是每个样本先自成一类，然后按照某种规则进行合并，直到只有一类或者某一类的样本只有一个点。层次聚类又分为自底而上的聚合层次聚类和自顶而下的分裂层次聚类。

0.1 聚合层次聚类

每一个点初始为1类，得到N(样本点个数)类，计算每一类之间的距离，计算方法有很多，具体可以参考距离的计算方法。聚合层次聚类方法的终止条件是所有样本点都处于同一类了，或者两类之间的距离超过设置的某个阈值。大多数层次聚类都是聚合层次聚类。

0.2 分裂层次聚类

和聚合层次聚类是反着的，属于自上而下的一种聚类方法。刚开始的时候所有的样本点都位于同一类，然后一步步划分，终止条件是所有的样本点都位于单独的一类，或者两类之间的距离超过设置的某个阈值。
下面这个图可以比较好的说明这个过程：

层次聚类的两种方法

1.凝聚层次聚类算法步骤

1.1 算法过程

1）N个样本单独成类，G1(0)、G2(0)、G3(0)、……、GN(0)，0代表初始状态。
2）更新距离矩阵D(n)，找出D(n)中最小值，把对应的两类合并为1类。
3）更新距离矩阵D(n+1)，重复步骤2-3。

4. 当两类之间的最小距离小于给定的阈值或者所有样本都单独成类的时候，结束算法。

1.2算法案例

有个老师带了五个学生，想给学生分组，让他们分组学习，采用层次聚类来对学生进行聚类，基础数据如下图。

学生基础数据

先来算距离D(0)，就采用欧式距离就好了。

初始距离矩阵

找到最小的那两个合并为1类。

合并后的新数据

然后计算更新后的距离D(1)

合并的后新距离

以后的以此类推：

聚类的整体过程

我们看到其实124是一类，35是一类。
画出图来就是下面这个格式：

聚类结果

3.Python处理层次聚类的包

用的是在scipy.cluster里的hierarchy方法，下面来看代码，支持hierarchical clustering 和 agglomerative clustering。
首先来看一些基本函数的用法

• linkage
  scipy.cluster.hierarchy.linkage(data,method = 'single')
  method 参数是类距离的计算公式
  singele 两个类之间最短的点的距离
  complete 两个类之间最长距离的点的距离
  centroid 两个类所有点的中点的距离
• pdist计算样本点之间的两两距离
  scipy.cluster.hierarchy.distance.pdist(data, metric='euclidean')
  metric参数是求距离的方法，默认是欧氏距离，可选的还有：
  ‘braycurtis’, ‘canberra’, ‘chebyshev’, ‘cityblock’, ‘correlation’, ‘cosine’, ‘dice’, ‘euclidean’, ‘hamming’, ‘jaccard’, ‘jensenshannon’, ‘kulsinski’, ‘mahalanobis’, ‘matching’, ‘minkowski’, ‘rogerstanimoto’, ‘russellrao’, ‘seuclidean’, ‘sokalmichener’, ‘sokalsneath’, ‘sqeuclidean’, ‘yule’
  关于求距离的函数我可能还会再更一篇文章，感兴趣的朋友可以等一下。笔者之前算字符相似度自己还写了一个杰尔卡德相似度，现在看看真实太费事了。
• dendrogram(linkage)
  scipy.cluster.hierarchy.dendrogram(linkage)，这个函数是画图用的。

import numpy
import pandas
from sklearn import datasets
import scipy.cluster.hierarchy as hcluster
import scipy
#iris = datasets.load_iris()
#data = iris.data
#target = iris.target
points=scipy.randn(20,4)  
# Compute and plot first dendrogram.
linkage = hcluster.linkage(points, method='centroid')
hcluster.dendrogram(linkage,  leaf_font_size=10.)
p = hcluster.fcluster( linkage,  3, criterion='maxclust')

聚类结果如下图所示：

聚类结果

以上就是层次聚类的简单应用，当然有不同的需求可以继续探索一些函数的参数，这个方法还是很好用的。