聚类有效性分析

概述

有ground-truth时
黄金标准（Gold Standard）作为Benchmark，是基于人工的判断制作而成。在有了这个Benchmark后，我们就可以定义出外部标准，通过簇和黄金标准之间类别的匹配的程度来评估聚类结果的好坏。
聚类质量四个外部标准：
1 纯度（Purity） 是一种简单而透明的评估手段；
2 标准化互信息（NMI, Normalized Mutual Information） 是从信息理论方面来评估；
3 兰德指数（RI, Rand Index） 能度量聚类过程中的假阳性和假阴性结果的惩罚；
4 F值（F measure） 支持调整这两种错误惩罚的权重。

没有ground-truth时
聚类前（聚类趋势）；聚类质量；交叉验证

纯度

每个簇中最大数量的类作为这个簇的类，数分对的和分错的。分的越好纯度越高
分对的点数 除以 总点数
簇数量很多时容易达到较高的纯度。因而不能简单用纯度衡量

兰德指数

算TP，FN除以总数，就是准确率accuracy

假阳性和假阴性有着同等的重要性。但是在实际情况中，把相似的文档分开比把不同的文档放在一个簇里更糟糕。我们可以使用F值，通过让参数 [公式] 来让假阴性比假阳性获得更多的惩罚，也就是说，给召回（Recall）更大的权重。

F值

β = 1 或 5 或其他

2.1聚类趋势： （聚类前）

霍普金斯统计量（Hopkins Statistic）评估给定数据集是否存在有意义的可聚类的非随机结构。聚类的前提需要数据是非均匀分布的。[0.01, 0.3]表示数据结构regularly spaced，该值为0.5时数据是均匀分布的，[0.7, 0.99]表示聚类趋势很强。

2.2聚类质量

2.3交叉验证

这个验证主要是针对kmeans等划分聚类方法。把给定的数据集D划分成m个部分。然后，使用m-1各部分建立一个聚类模型，并使用剩下的一部分检验聚类的质量。

2.4 聚类稳定性

聚类结果的稳定性越高，引入新的（来自相同underlying model）后再次聚类结果越不容易被改变。
比如：
某两组同分布的数据，k=2时聚类结果差别很大，k=5时差别不大，则5更稳定（不能只看这一项，因为k=1最稳定）

不同聚类算法的目标函数相差很大。 聚类没有统一的评价指标