机器学习——常用的分类模型性能评价指标

分类模型的性能评价指标，主要包含准确率，精确率、召回率、f1_score，ROC曲线，AUC等

1、分类评价指标

先列出混淆矩阵

其中：
TP：真实值是positive，模型分为positive
FN：真实值是positive，模型分为negative
FP：真实值是negative，模型分为positive
TN：真实值是negative，模型认为是negative

1.1、准确度（Accuracy）

准确度：对于给定的测试集，模型正确分类的样本数与总样本数之比。
公式为：

1.2、精确度（precision）

精确度：对于给定测试集，分类模型将正类样本预测为正类的数量与将样本预测为正类的综述的比例。
公式：

1.3、召回率（Recall）

召回率：对于给定测试集，模型将正类样本分为正类的数量与，模型分类正确的数量的比值。
公式：

1.4、F_score

该指标用来综合的衡量模型的召回率和精确度
公式：

其中，a表示权重因子，P（precision）表示精确度，R（recall）表示召回率
当a = 1 时，便是F1_score
F1_score公式：

1.5、Matthews相关系数（Matthews correlation coefficient，MCC）

MCC：用一个值综合混淆矩阵，度量真实值和预测值之间的相关性。
分母中任意一对括号相加之和如果为0，那么整个MCC的值就为0。
公式：

MCC值在[-1,1]之间：

1：分类器是完美的

0：分类器是随机分类器

-1：分类器是最差，所有预测结果和实际相反

1.6、AUC（Area under the ROC curve）

ROC曲线一定程度上可以反映分类器的分类效果。

AUC作为一个模型分类好坏的评价指标，能够直观地反映了ROC曲线表达的分类能力。AUC实际上就是ROC曲线下的面积。

AUC = 1采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。

0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。

AUC = 0.5，跟随机猜测一样（例：抛硬币），模型没有预测价值。

AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测，因此不存在AUC < 0.5的情况。