【聚类3】密度聚类+层次聚类

1. 密度聚类

1.1 概念

- "别名"：
		基于密度的聚类

- "英文"：
		Density-based clustering

- "思想":
		此类算法假设聚类结构能够通过样本分布的紧密程度确定

- "解释思想":
		就是说，密度聚类算法从样本的密度角度来考察样本之间的可连续性（样
	本之间可连续性代表簇的纯度越纯），并基于可连续样本不断拓展聚类簇，以
	获得最终的聚类结果。

- "欧式距离"：
		在本节中，默认距离为欧式距离。

1.2 DBSCAN算法

• dbscan思想

DBSCAN是一种著名的密度聚类算法，它基于一组"邻域（neighborhood）参数"，来刻画样本分布的紧密程度。

• 重要概念

已知	D={$x_1,x_2,...,x_m$}	性质
$\epsilon$-邻域	包含样本集D中与$x_j$的距离不大于$\epsilon$的样本，即$N_{\epsilon }(x_j)=\{x_i\in D|dist(x_i,x_j)\le \epsilon \}$
核心对象（core object）	若$x_j$的$\epsilon$-邻域至少包含MinPts个样本，则$x_j$是一个核心对象。即$|N_{\epsilon }(x_j)|\ge MinPts$
密度直达（directly density-reachable）	若$x_j$位于$x_i$的$\epsilon$-邻域，且$x_i$是核心对象，则称$x_j$由$x_i$密度直达	不满足对称性
密度可达（density-reachable）	对$x_i$与$x_j$,若存在样本序列$p_1,p_2,...,p_n,其中p_1=x_i,p_n=x_j且p_{i+1}由p_i密度直达$，则称$x_j和x_i$密度可达	直递性，不满足对称性
密度相连（density-connected）	对$x_i$与$x_j$,若存在$x_k使得x_i与x_j均由x_k$密度可达，则称$x_i和x_j$密度相连	对称性
噪声（noise）或异常样本（anomaly）	D中不属于任何簇的样本认为是噪声或异常样本

• DBSCAN的簇定义

文字：

由密度可达关系导出的最大的密度相连样本集合

数学：

$给定邻域参数(\epsilon ,MinPts)$
$簇C\subseteq D,满足以下性质：$

$连接性（connectivity）:x_i\in C,x_j\in C\to \to x_i与x_j密度相连$

$最大性（maximality）:x_i\in C,x_j由x_i密度可达\to \to x_j\in C$

• 基于上述性质的聚类的簇

文字：

若x为核心对象，由x密度可达的所有样本组成的集合，这个集合就是一个簇。

数学：

$$X=\{x^{\prime }\in D|x为核心对象\bigcap x^{\prime }由x密度可达\}$$

$（因为X满足连接线和最大性，X就是想要的簇）$

1.3 DBSCAN算法伪代码

1.4 DBSCAN算法生成聚类簇的步骤

• 给定西瓜集：D

• 假定邻域参数$(\epsilon ,MinPts)$

$\epsilon$ = 0.11
MinPts = 5

1. 找出各样本的 $\epsilon$ 邻域

"方法："
		1. 可以利用DBSCAN算法
		2. 直观来说：对每一个样本（例如:x_j）算它到剩余样本的欧式距离
		3. 小于等于 ε 邻域的样本集合，构成x_j的领域

2. 确定核心对象集合 $\Omega$

"方法："
		1. 若样本的邻域中样本的个数大于等于MinPts
		2. 则这个样本是核心对象
		3. 核心对象组成的集合，叫核心对象集合，用 Ω 来表示

本题中，核心对象集合为：

$\Omega =\{x_3,x_5,x_6,x_8,x_9,x_{13},x_{14},x_{18},x_{19},x_{24},x_{25},x_{28},x_{29}\}$

3. 从 $\Omega$ 中随机选取一个核心对象作为种子

例如：选取 $x_8$

4. 找出由种子（$x_8$）密度可达的所有样本

"方法："
		1. 要理解两个概念：
		2. 密度直达
		3. 密度可达
		4. 所有样本构成一个聚类簇

本题中，第一个聚类簇为：

$C_1=\{x_6,x_7,x_8,x_{10},x_{12},x_{18},x_{19},x_{20},x_{23}\}$

5. 将聚类簇中包含的核心对象从 Ω 中去除

更新 Ω :

$\Omega =\{x_3,x_5,x_9,x_{13},x_{14},x_{24},x_{25},x_{28},x_{29}\}$

6. 结束标志是 Ω 为空集

给出例题结果：

$C_1=\{x_6,x_7,x_8,x_{10},x_{12},x_{18},x_{19},x_{20},x_{23}\}$

$C_2=\{x_3,x_4,x_5,x_9,x_{13},x_{14},x_{16},x_{17},x_{21}\}$

$C_3=\{x_1,x_2,x_{22},x_{26},x_{29}\}$

$C_4=\{x_{24},x_{25},x_{27},x_{28},x_{30}\}$

2. 层次聚类

2.1 概念

- "英文："
		Hierarchical Clustering

- "思想"
		在不同的层次对数据集进行划分

- "特点："
		形成的是树形的聚类结构

- "划分策略："
		1. 自底向上
		2. 自顶向下

- "代表算法："
		AGNES(AGglomerative NESting)算法

2.2 豪斯多夫距离

• 概念

- "英文："
		Haosdorff Distance
		也称：Pompeiu-Hausdorff距离

- "用处："
		1. 集合之间的距离度量
		2. 计算两个集合之间的距离

- "原理："
		一个集合到另一个集合中最近点的最大距离

• 公式

$$h(A,B)=ma{x}_{a\in A}\{mi{n}_{b\in B}\{d(a,b)\}\}$$

$d(a,b)一般为欧式距离$

• 图例

2.3 AGNES算法

• 算法思想

"步骤："
		1. AGENS算法：是一种自底向上聚合策略的层次聚类算法
		2. 先将数据集中每个样本看作一个初始聚类簇
		3. 把距离最近的两个聚类簇进行合并
		4. 不断重复，直至达到预设的聚类簇个数

"关键：如何计算关于集合的某种距离？"
		1. 豪斯多夫距离
		2. 最小距离
		3. 最大距离
		4. 平均距离

• 最小/最大/平均距离

公式：

$$最小距离:d_{min}(C_i,C_j)=mi{n}_{x\in C_i,z\in C_j}dist(x,z)$$
$$最大距离:d_{max}(C_i,C_j)=ma{x}_{x\in C_i,z\in C_j}dist(x,z)$$
$$平均距离:d_{avg}(C_i,C_j)=\frac{1}{|C_i||C_j|}\sum _{x\in C_i}\sum _{z\in C_j}dist(x,z)$$

• 链接算法

AGNES算法的核心就是集合间的距离，
所以距离函数d()，十分重要。
不同的距离，AGNES算法名称也不同

1. 用d_min时：AGNES算法被称为"单链接"(single-linkage)算法
2. 用d_max时：AGNES算法被称为"全链接"(complete-linkage)算法
3. 用d_avg时：AGNES算法被称为"均链接"(average-linkage)算法

2.4 AGNES算法伪代码

2.5 例子

• 西瓜数据集：D

• 示例