机器学习 分类任务 评价指标

目录

1 引言

2 Precision

3 Accuracy

4 Recall

5 F1 scrore

6 AUC-ROC


1 引言

机器学习中的任务主要分为分类与回归,分类主要分为二分类与多分类,在分类任务中一般有

Precision、 Accuracy 、Recall、F1 scrore 、 AUC-ROC这五种方法作为评价指标。这五种评价指标均为TP、FN、FP和TN这四个基本属性组成,这四个基本属性的基本含义:

TP(True Positive 真正):将正确的预测为正确的,即预测正确了。或者说将A类正确预测为A类。

FN(Fasle Negative 假负):将错误的预测为错误的,即预测正确了。或者说将非A类正确预测为非A类。

FP(Fasle Positive 假负):将错误的预测为正确的,即预测错误了。或者说将其他类错误预测为A类。

TN(True Negative 真负):将正确的预测为错误的,即预测错误了。或者说将A类错误预测为其他类。

2 Precision

Precision精确率,计算方法:

Precision = {\frac{TP}{TP+FP}}

将正确的预测为正确的/(将正确的预测为正确的+将错误的预测为正确的),TP+FP就是表示预测出正确的数量。

所以precision表示当前划分到正样本类别中,被正确分类的比例(即正式正样本所占比例)

3 Accuracy

Accuracy准确率,计算方法:

Accuracy = {\frac{TP+TN}{TP+TN+FN+FP}}

(将正确的预测为正确的+将错误的预测为错误)/所有样本数量,即成功分类的个数在所有分类的个数所占比例。

所以Accuracy表示当前划分到正样本类别中,被正确分类的比例(即正式正样本所占比例)

4 Recall

recall,召回率

recall= {\frac{TP}{TP+FN}}

召回率 = 将正确的预测为正确的/(将正确的预测为正确的+将正确的预测为错误的),

当前分到正样本中真实的正样本所占所有正样本的比例

5 F1 scrore

F1分数(F1-score)是分类问题的一个衡量指标 。一些多分类问题的机器学习竞赛,常常将F1-score作为最终测评的方法。它是精确率和召回率的调和平均数,最大为1,最小为0。

Precision和Recall的关系

  • Precision 和 Recall 的值我们预期是越高越好,因为他们都代表了正确被分类的比例,但是这两个值在某些场景下是存在互斥的。比如仅仅取一个样本,并且这个样本也确实是正样本,那么Precision = 1.0, 然而 Recall 可能就会比较低(在该样本集中可能存在多个样本);相反,如果取所有样本,那么Recall = 1.0,而Precision就会很低了。所以在这个意义上,该两处值需要有一定的约束变量来控制。
  • 所以F-Score就是 Precision和 Recall的加权调和平均:其中,当 α = 1时,则 F-Score 即为F1
  • 当有多个类别时,我们对各个类别的F1-Score求均值,就是最后的F1-score

6 AUC-ROC

ROC(Receiver Operating Characteristic,受试者工作特征)。ROC曲线的面积就是AUC(Area Under the Curve)。AUC用于衡量“二分类问题”机器学习算法性能(泛化能力)。

曲线描述的就是召回率与FPR = FP / (FP + TN)之间的关系,召回率前面我们已经介绍过了。FPR可以称之假正率,描述的是将错误的预测为正确的与(错误的预测为正确的+将正确的预测为错误的)

所以ROC描述的就是召回率与假正率之间的关系,ROC曲线就是召回率为x轴,假正率为y轴,AUC就是ROC曲线的面积。

你可能感兴趣的:(机器学习,分类,计算机视觉,深度学习,人工智能)