机器学习评估标准汇总以及在python中的函数调用

python环境

聚类性能度量

外部指标

聚类结果与某个参考模型进行比较

\quad 首先，先定义计算用到的数据集。对于数据集$D=\{x_1,x_2,...,x_n\}$，假定通过聚类得出的聚类结果为$C=\{c_1,c_2,...c_k\}$ ，每一类的类别标签为$\lambda$；参考模型的聚类结果为$C^{\ast }=\{c_1^{\ast },c_2^{\ast },...,c_s^{\ast }\}$，类别标签为${\lambda }^{\ast }$。
定义四个集合：
$a=|SS|,SS=\{(x_i,x_j)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\}$
$b=|SD|,SD=\{(x_i,x_j)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\}$
$c=|DS|,DS=\{(x_i,x_j)|{\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\}$
$d=|DD|,DD=\{(x_i,x_j)|{\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\}$
\quad 也就是说随便从数据集中拿出两个样本来，那么这两个样本要么在同一类，要么不同类，只有这两种情况。那么在两个模型下，就会产生上面的那四种集合。且a+b+c+d=n*(n-1)/2，即无向完全图边的数目。

Jaccard系数

$JC=\frac{b+c}{a+b+c}$
上述公式是python3.7中实现的公式，表明两个集合的不相似度。

#python=3.7
import scipy.spatial.distance as dist
a=[1,0,1]                 #将上述集合转换为布尔集合，相同为1，不同为0
b=[0,1,1]
print(dist.jaccard(a,b))  #结果为0.6666666666666666

FM指数

$FMI=\sqrt{\frac{a}{a+b}\cdot \frac{a}{a+c}}$
表示两个集合的相似度
取值[0,1]，越接近1相似度越大

#python=3.7
from sklearn.metrics.cluster import fowlkes_mallows_score
#输入分别为参照模型标签集合和预测模型标签集合
fowlkes_mallows_score([2, 2, 1, 1], [1, 1, 2, 2])#1.0
fowlkes_mallows_score([2, 2, 2, 1], [1, 1, 2, 2])#0.408248290463863

内部指标

直接进行聚类评估，不利用任何参考模型

\quad 同样先定义一些函数：

• 类C内样本间的平均距离：$avg(C)=\frac{2}{|C|(|C|-1)}{\sum }_{1\le i<j\le |C|}dist(x_i,x_j)$
• 类内最远距离：$diam(C)=ma{x}_{1\le i<j\le |C|}dist(x_i,x_j)$
• 两类的最近样本间距离：$d_{min}(C_i,C_j)=mi{n}_{x_i\in C_i,x_j\in C_j}dist(x_i,x_j)$
• 两类中心点的距离：$d_{cen}(C_i,C_j)=dist({\mu }_i,{\mu }_j)$

DB指数

$DBI=\frac{1}{k}\sum _{i=1}^{k}ma{x}_{j\ne i}(\frac{avg(C_i)+avg(C_j)}{d_{cen}({\mu }_i,{\mu }_j)})$
\quad 当聚类中心未给出时，DB指数可以评估模型聚类的优劣。DB指数反映了类间相似度，所以DBI越接近0，说明聚类效果越好

from sklearn import datasets
from sklearn.cluster import KMeans
from sklearn.metrics import davies_bouldin_score

iris = datasets.load_iris()
X = iris.data       #(150,4) 有四个特征
kmeans = KMeans(n_clusters=3, random_state=1).fit(X)
labels = kmeans.labels_ #(150,)
davies_bouldin_score(X, labels)#0.6619715465007528

Dunn指数

$DI=mi{n}_{1\le i\le k}\{mi{n}_{j\ne i}(\frac{d_{min}(C_i,C_j)}{{\max }_{1\le l\le k}diam(C_l)})\}$
\quad python中没有现成的DI代码，需要自己造轮子
\quad DI代表了类间的距离关系，值越大越好。

参考资料

[1] : https://scikit-learn.org/stable/modules/classes.html?highlight=ri#module-sklearn.metrics
[2] : 周志华 机器学习 西瓜书