机器学习 | 聚类评估指标

相关文章：

机器学习 | 目录

机器学习 | 距离计算

无监督学习 | KMeans与KMeans++原理

无监督学习 | KMeans之Skleaen实现：电影评分聚类

1. 聚类评估指标

Clustering performance evaluation

聚类性能度量亦称聚类“有效性指标”（validity index）。与监督学习中的性能度量相似，对聚类结果，我们需通过某种性能度量来评估其好坏；另一方面，若明确了最终将要使用的性能度量，则可直接将其作为聚类过程的优化目标，从而更好地得到符合要求的聚类结果。

聚类是将样本集D划分为若干互不相关的子集，即样本簇（类），而我们又希望聚类结果的“簇内相似度”（intra-cluster similarity）高且“簇间相似度”（intra-cluster similarity）低。

聚类性能度量大致有两类，一类是将聚类结果与某个“参考模型”（reference model，样本含标签的）进行比较，称为“外部指标”（external index）;另一类是直接考察聚类结果而不利用任何参考模型，称为“内部指标”（internal index）。

对数据集 $D=\{x_1,x_2,\cdots ,x_n\}$，假定通过聚类给出的 $k$ 个簇，划分为 $C=\{C_1,C_2,\cdots ,C_k\}$，参考模型给出的 $s$ 个簇划分为 $C^{\ast }=\{C_1^{\ast },C_2^{\ast },\cdots ,C_s^{\ast }\}$。相应地，令 $\lambda$ 与 ${\lambda }^{\ast }$ 分别表示 $C$ 与 $C^{\ast }$ 对应的簇标记向量。我们将样本两两配对考虑，定义：

$$a=|SS|,SS=\{(x_i,x_j)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\}\text{\hspace{1em}(1)}$$

$$b=|SD|,SD=\{(x_i,x_j)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\}\text{\hspace{1em}(2)}$$

$$c=|DS|,DS=\{(x_i,x_j)|{\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\}\text{\hspace{1em}(3)}$$

$$d=|DD|,DD=\{(x_i,x_j)|{\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\}\text{\hspace{1em}(4)}$$

其中集合 $SS$ 表示点 $i$ 和点 $j$ 在聚类结果中处于同一个簇，而实际上这两个点也是处于同一个簇的所有点的集合，相当于混淆矩阵中的 TP；

集合 $SD$ 表示点 $i$ 和点 $j$ 在聚类结果中处于同一个簇，而实际上这两个点不处于同一个簇的所有点的集合，相当于混淆矩阵中的 FP，…。

由于每个样本对 $(x_i,x_j)(i<j)$ 仅能出现在一个集合中，因此有 $a+b+c+d=C_n^2=n(n-1)/2$ 成立。^[1]

1.1 外部评估指标

基于公式（1-4）可以导出下面常用的聚类性能度量外部指标：

RI 兰德指数

Rand Index 兰德指数

$$RI=\frac{(a+b)}{C_n^2}\text{\hspace{1em}()}$$

ARI 调整兰德指数

Adjuested Rand Index 调整兰德指数

sklearn.metrics.adjusted_rand_score

$$ARI=\frac{RI-E(RI)}{max(RI)-E(RI)}\text{\hspace{1em}(5)}$$

Advantages

• Random (uniform) label assignments have a ARI score close to 0.0 for any value of n_clusters and n_samples (which is not the case for raw Rand index or the V-measure for instance).

• Bounded range [-1, 1]: negative values are bad (independent labelings), similar clusterings have a positive ARI, 1.0 is the perfect match score.

• No assumption is made on the cluster structure: can be used to compare clustering algorithms such as k-means which assumes isotropic blob shapes with results of spectral clustering algorithms which can find cluster with “folded” shapes.

Drawbacks

• Contrary to inertia, ARI requires knowledge of the ground truth classes while is almost never available in practice or requires manual assignment by human annotators (as in the supervised learning setting).

However ARI can also be useful in a purely unsupervised setting as a building block for a Consensus Index that can be used for clustering model selection (TODO).

Jaccard JC指数

Jaccard Coefficient

$$JC=\frac{a}{a+b+c}\text{\hspace{1em}(6)}$$

FMI FMI指数

Fowlkes and Mallows Index

sklearn.metrics.fowlkes_mallows_score

$$FMI=\sqrt{\frac{a}{a+b}\cdot \frac{a}{a+c}}\text{\hspace{1em}(7)}$$

Advantages

• Random (uniform) label assignments have a FMI score close to 0.0 for any value of n_clusters and n_samples (which is not the case for raw Mutual Information or the V-measure for instance).

• Upper-bounded at 1: Values close to zero indicate two label assignments that are largely independent, while values close to one indicate significant agreement. Further, values of exactly 0 indicate purely independent label assignments and a FMI of exactly 1 indicates that the two label assignments are equal (with or without permutation).

• No assumption is made on the cluster structure: can be used to compare clustering algorithms such as k-means which assumes isotropic blob shapes with results of spectral clustering algorithms which can find cluster with “folded” shapes.

Drawbacks

• Contrary to inertia, FMI-based measures require the knowledge of the ground truth classes while almost never available in practice or requires manual assignment by human annotators (as in the supervised learning setting).

MI 互信息

Mutual Information 互信息

sklearn.metrics.mutual_info_score

对数据集 $D=\{x_1,x_2,\cdots ,x_n\}$，假定通过聚类给出的 $k$ 个簇，划分为 $C=\{C_1,C_2,\cdots ,C_k\}$，参考模型给出的 $s$ 个簇划分为 $C^{\ast }=\{C_1^{\ast },C_2^{\ast },\cdots ,C_s^{\ast }\}$。

$$\begin{array}{rl}MI(C,C^{\ast })& =\sum _{i=1}^k\sum _{j=1}^{s}P(C_i,C_j^{\ast })log\frac{P(C_i\cap C_j^{\ast })}{P(C_i)P(C_j^{\ast })}\\ & =\sum _{i=1}^k\sum _{j=1}^s\frac{|C_i\cap C_j^{\ast }|}{n}log\frac{n\cdot |C_i\cap C_j^{\ast }|}{|C_i||C_j^{\ast }|}\end{array}\text{\hspace{1em}(8)}$$

$P(C_i),P(C_j^{\ast }),P(C_i\cap C_j^{\ast })$ 可以分别看作样本属于聚类簇 $C_i$ ，属于类 $C_j^{\ast }$ 以及同时属于两者的概率。

定义熵 H：
$$\begin{array}{rl}H(C)& =-\sum _{i=1}^{k}P(C_i)logP(C_i)\\ & =-\sum _{i=1}^k\frac{|C_i|}{n}log(\frac{|C_i|}{n})\end{array}\text{\hspace{1em}(9)}$$

给定簇信息 $C^{\ast }$ 的前提条件下，类别信息 $C$ 的增加量，或者说其不确定度的减少量，直观的，可以写出如下形式：

$$MI(C,C^{\ast })=H(C)-H(C|C^{\ast })\text{\hspace{1em}(10)}$$

• 互信息的最小值为 0, 当类簇相对于类别只是随机的, 也就是说两者独立的情况下, $C$ 对于 $C^{\ast }$ 未带来任何有用的信息；

• 如果得到的 $C$ 与 $C^{\ast }$ 关系越密切, 那么 $MI(C,C^{\ast })$ 值越大. 如果 $C$ 完整重现了 $C^{\ast }$ , 此时互信息最大。

• 当 $k=n$ 时,即类簇数和样本个数相等,MI 也能达到最大值。所以 MI 也存在和纯度类似的问题,即它并不对簇数目较大的聚类结果进行惩罚,因此也不能在其他条件一样的情况下,对簇数目越小越好的这种期望进行形式化。

NMI 归一化互信息

Normalized Mutual Information 归一化互信息

sklearn.metrics.normalized_mutual_info_score

NMI 则可以解决上述问题,因为熵会随着簇的数目的增长而增大。当 $k=n$ 时, $H(C)$ 会达到其最大值 $log(n)$ , 此时就能保证 NMI 的值较低。之所以采用 $\frac{1}{2}H(C)+H(C^{\ast })$ 作为分母,是因为它是 $MI(C,C^{\ast })$ 的紧上界, 因此可以保证 $NMI\in [0,1]$ 。

$$NMI(C,C^{\ast })=\frac{2\times MI(C,C^{\ast })}{H(C)+H(C^{\ast })}\text{\hspace{1em}(11)}$$

AMI 调整互信息

Adjusted Mutual Information 调整互信息

sklearn.metrics.adjusted_mutual_info_score

$$AMI(C,C^{\ast })=\frac{MI(C,C^{\ast })-E(MI(C,C^{\ast }))}{avg(H(C),H(C^{\ast }))-E[MI(C,C^{\ast })]}\text{\hspace{1em}(12)}$$

令 $a_i=|C_i|,b_j=|C_J^{\ast }|$ ，则 $E[MI(C,C^{\ast })]$ 为：

$$E[MI(C,C^{\ast })]=\sum _{i=1}^{|C|}\sum _{j=1}^{|C^{\ast }|}\sum _{n_{ij}=(a_i+b_j-n{)}^{+}}^{min(a_i,b_j)}\frac{n_{ij}}{n}log(\frac{n\cdot n_{ij}}{a_i{b}_j})\frac{a_i!b_j!(n-a_i)!(n=b_j)!}{n!n_{ij}!(a_i-n_{ij})!(b_j-n_{ij})!(n-a_i-b_j+n_{ij})!}\text{\hspace{1em}(13)}$$

当 log 取 2 为底时，单位为 bit，取 e 为底时单位为 nat。^[2]

1.2 内部评估指标

考虑聚类结果的 $k$ 个簇划分 $C=\{C_1,C_2,\cdots ,C_k\}$，其中 $dist(\cdot ,\cdot )$ 用于计算两个样本之间的距离（2. 距离计算），$\mu$ 代表簇 $C$ 的中心点 $\mu =\frac{1}{k}{\sum }_{1\le i\le k}{x}_i$。

定义：

簇 $C$ 内样本间的平均距离 $avg(C)$：

$$avg(C)=C_k^2\sum _{1\le i\le j\le k}dist(x_i,x_j)\text{\hspace{1em}(14)}$$

簇 $C$ 内样本间的最远距离 $diam(C)$：

$$diam(C)=ma{x}_{1\le i\le j\le k}dist(x_i,x_j)\text{\hspace{1em}(15)}$$

簇 $C_i$ 与簇 $C_j$ 最近的样本间距离 $d_{min}(C_i,C_j)$：

$$d_{min}(C_i,C_j)=mi{n}_{x_i\in C_i,x_j\in C_j}dist(x_i,x_j)\text{\hspace{1em}(16)}$$

簇 $C_i$ 与簇 $C_j$ 中心点间的距离 $d_{cen}(C_i,C_j)$：

$$d_{cen}(C_i,C_j)=dist(x_i,x_j)\text{\hspace{1em}(17)}$$

DBI 戴维森堡丁指数

Davies-Bouldin Index 戴维森堡丁指数，越小越好。

sklearn.metrics.davies_bouldin_score

$$DBI=\frac{1}{k}\sum _{i=1}^k\underset{j\ne i}{\max }(\frac{avg(C_i)+avg(C_j)}{d_{cen}({\mu }_i,{\mu }_j)})\text{\hspace{1em}(18)}$$

DI Dunn指数

Dunn Index，越大越好。

$$DI=\underset{1\le i\le k}{\min }\left\{\underset{j\ne i}{\min }\right(\frac{d_{min}(C_i,C_j)}{\underset{1\le l\le k}{\max }diam(C_l)}\left)\right\}\text{\hspace{1em}(19)}$$

SC 轮廓系数

Silhouette Coefficient 轮廓系数

sklearn.metrics.silhouette_score

$$S=\frac{b-a}{max(a,b)}\text{\hspace{1em}(20)}$$

Advantages

• The score is bounded between -1 for incorrect clustering and +1 for highly dense clustering. Scores around zero indicate overlapping clusters.

• The score is higher when clusters are dense and well separated, which relates to a standard concept of a cluster.

Drawbacks

• The Silhouette Coefficient is generally higher for convex clusters than other concepts of clusters, such as density based clusters like those obtained through DBSCAN.【不适用于紧凑、密集的数据，DBSCAN的带噪声的数据】

参考文献

[1] 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016: 197-199.

[2] Gan Pan.[ML] 聚类评价指标[EB/OL].https://zhuanlan.zhihu.com/p/53840697, 2019-06-28.