聚类算法的性能度量

聚类算法的性能度量

聚类算法就是根据数据中样本与样本之间的距离或相似度，将样本划分为若干组／类／簇，其划分的原则：簇内样本相似、簇间样本不相似，聚类的结果是产生一个簇的集合。

其划分方式主要分为两种，

• 嵌套类型

• 非嵌套类型

其中簇往往分为三种情况

1. 基于中心的簇：簇内的点和其“中心”较为相近（或相似），和其他簇的“中心”较远，这样的一组样本形成的簇
2. 基于邻接的簇：相比其他任何簇的点，每个点都至少和所属簇的某一个点更近
3. 基于密度的簇：簇是由高密度的区域形成的，簇之间是一些低密度的区域

簇的相似性与距离度量

若采用距离为度量

闵可夫斯基距离： $dist(x^i,x^j)={\left({\sum }_{d=1}^D|x_{i,d}-x_{j,d}{|}^p\right)}^{1/p}$
当$p=2$时，为欧氏距离$:dist(x^i,x^j)=\sqrt{{\sum }_{d=1}^D{\left(x_{i,d}-x_{j,d}\right)}^2}$
当$p=1$时，为曼哈顿距离： $dist(x^i,x^j)={\sum }_{d=1}^D\left|x_{i,d}-x_{j,d}\right|$

这类距离函数对特征的旋转和平移变换不敏感，对数值尺度敏感

若采用余弦相似度量

两变量$x^i,x^j$,看作D维空间的两个向量，这两个向量间的夹角余弦可用下式进行计算
$$s(x^i,x^j)=\frac{{\sum }_{d=1}^D{x}_{i,d}{x}_{j,d}}{\sqrt{{\sum }_{d=1}^D{x}_{i,d}^2}\sqrt{{\sum }_{d=1}^D{x}_{j,d}^2}}=\frac{(x^i{)}^T{x}^j}{\Vert x^i\Vert \Vert x^j\Vert }$$
若采用相关系数
$$\begin{array}{c}r(x^i,x^j)=\frac{cov(x^i,x^j)}{{\sigma }_{x_i}{\sigma }_{x_j}}=\frac{\mathbb{E}[(x^i-{\mu }^i)(x^j-{\mu }^j)]}{{\sigma }_{x_i}{\sigma }_{x_j}}\\ \begin{array}{r}=\frac{{\sum }_{d=1}^D(x_{i,d}-{\mu }_{i,d})(x_{j,d}-{\mu }_{j,d})}{\sqrt{{\sum }_{d=1}^D{\left(x_{i,d}-{\mu }_{i,d}\right)}^2{\sum }_{d=1}^D{\left(x_{j,d}-{\mu }_{j,d}\right)}^2}}\end{array}\end{array}$$
当数据采用中心化处理后${\mu }_i={\mu }_j=0$，相关系数等于余弦相似度

对聚类算法的性能评价指标

参考模型

设存在数据集$D=\{x^1,x^2,...x^N\}$，聚类结果$:C=\{{\mathcal{C}}_1,{\mathcal{C}}_2,...{\mathcal{C}}_K\}$,其中${\mathcal{C}}_k$表示属于类别$k$的样本的集合，其中参考模型的分类结果为${\mathcal{C}}^{\ast }=\{{\mathcal{C}}_1^{\ast },...,{\mathcal{C}}_K^{\ast }\}$,$\lambda$ 和 ${\lambda }^{\ast }$ 分别为$c$和 $c^{\ast }$ 的标记向量

其中聚类结果有4种情况
$$\begin{array}{rl}a=& \left\{\begin{array}{cc}(x^i,x^j)|x^i,x^j\in {\mathcal{C}}_k;& x^i,x^j\in {\mathcal{C}}_l^{\ast }\end{array}\right\}\\ & \text{在两种聚类结果中，两个样本的所属的簇相同}\\ d=& \{(x^i,x^j)|x^i\in {\mathcal{C}}_{k1},x^j\in {\mathcal{C}}_{k2};x^i\in {\mathcal{C}}_{l1}^{\ast },x^j\in {\mathcal{C}}_{l2}^{\ast }\}\\ & \text{在两种聚类结果中，两个样本的所属的簇不同}\\ b=& \{(x^i,x^j)|x^i,x^j\in {\mathcal{C}}_k;x^i\in C_{l1}^{\ast },x^j\in {\mathcal{C}}_{l2}^{\ast }\}\\ c=& \{(x^i,x^j)|x^i\in {\mathcal{C}}_{k1},x^j\in {\mathcal{C}}_{k2};x^i,x^j\in {\mathcal{C}}_l^{\ast }\}\end{array}$$
每个样本对$(x_i,x_j)(i<j)$ 仅能出现在一个集合中，因此有 $a+b+c+d=m(m-1)/2$ 成立

Jaccard 系数(Jaccard Coefficient, 简称 JC)
$$\text{JC}=\frac{a}{a+b+c}$$
FM 指数(Fowlkes and Mallows Index, 简称 FMI)
$$\mathrm{FMI}=\sqrt{\frac{a}{a+b}\cdot \frac{a}{a+c}}$$
Rand 指数(Rand Index, 简称 RI$) $
$$\mathrm{RI}=\frac{2(a+d)}{N(N-1)}$$
上述性能度量的结果值均在 [0,1] 区间，值越大越好

无参考模型

其要求簇内相似度越大越好，簇间相似度越小越好

平均距离：
$$avg({\mathcal{C}}_k)=\frac{1}{|{\mathcal{C}}_k|(|{\mathcal{C}}_k|-1)}\sum _{x^i,x^j\in {\mathcal{C}}_k}dist(x^i,x^j)$$
最大距离：
$$diam\left({\mathcal{C}}_k\right)=\underset{x^i,x^j\in {\mathcal{C}}_k}{\max }dist({\mathbf{x}}^i,{\mathbf{x}}^j)$$
簇的半径：
$$diam({\mathcal{C}}_k)=\sqrt{\frac{1}{|C_k|}\sum _{x^i\in {\mathcal{C}}_k}(dist(x^i,{\mu }^k){)}^2}$$
其中${\mu }^k=\frac{1}{|{\mathcal{C}}_k|}{\sum }_{x^i\in {\mathcal{C}}_k}{\mathbf{x}}^i$

最小距离：
$$d_{min}({\mathcal{C}}_k,{\mathcal{C}}_l)=\underset{x^i\in {\mathcal{C}}_k,x^j\in {\mathcal{C}}_l}{\min }dist(x^i,x^j)$$
类中心的距离：
$$d_{cen}({\mathcal{C}}_k,{\mathcal{C}}_l)=dist({\mu }^k,{\mu }^l),$$
DB指数（DBI）【簇内距离/簇间距离】：
$$DBI=\frac{1}{K}\sum _{k=1}^K\underset{k\ne l}{\max }\frac{\arg ({\mathcal{C}}_k)+avg({\mathcal{C}}_l)}{d_{cen}({\mathcal{C}}_k,{\mathcal{C}}_l)}$$
其中DBI越小越好，即簇越小越远

Dunn 指数（DI）【最小簇间距离/最大簇的半径】：
$$DI=\underset{1\le k<l\le K}{\min }\frac{d_{min}({\mathcal{C}}_k,{\mathcal{C}}_l)}{{\max }_{1\le k\le K}diam({\mathcal{C}}_k)}$$
其中DI越大越好