密度聚类与层次聚类的基本概念理解

密度聚类

密度聚类也称为基于密度的聚类，此算法假设聚类结构能够通过样本分布的紧密程度确定。

• DBSCAN是一种著名的密度聚类算法，它基于一组邻域（对于xj，其邻域包含的样本集与xj的距离不大于ε）参数来刻画样本分布的紧密程度。先理解以下概念：
  核心对象：对于xj，它的邻域中必须至少包含m个样本，则xj是一个核心对象（邻域足够大）；
  密度直达：xj位于xi的邻域中，且xi是核心对象，则xj由xi密度直达；
  密度可达：对于x1,x2与x3，x1为核心对象的邻域里有x2，x2为核心对象的邻域里有x3，则x3可由x1密度可达；
  密度相连：对于xi与xj，若存在xk使得xi与xj均由xk密度可达，则xi与xj密度相连（相当于邻域与邻域连接后总能到达）。

基于上述概念，DBSCAN将簇定义为：由密度可达关系导出的最大的密度相连样本集合。

• DBSCAN算法：
  1.先找出参数邻域中所有的核心对象；
  2.任选数据集中的一个核心对象为种子；
  3.找出由其密度可达的样本生成聚类簇，知道所有核心对象被访问过为止。

层次聚类

层次聚类（hierarchical clustering）试图在不同层次上对数据集进行划分，从而形成树形的聚类结构。数据集的划分可采用“自底向上”的聚合策略，也可采用“自顶向上”的分拆策略。

• AGNES是一种采用自底向上聚合策略的层次聚类算法，策略：
  1.先将数据集中的每个样本看作一个初始聚类簇；
  2.在算法运行的每一步找出聚类最近的两个聚类簇进行合并；
  3.不断重复该过程，直到达到预设的聚类簇个数。

这里的关键点是如何计算聚类簇之间的距离，随后得到最小距离（由两个簇的最近样本决定）、最大距离（由两个簇的最远样本决定）、平均距离（由两个簇的所有样本决定）。

当聚类簇距离由最小距离计算时，AGNES被称为“单链接”；由最大距离计算时，AGNES被称为“全链接”；由平均距离计算时，AGNES被称为“均链接”。