机器学习——分类评价指标

【说明】文章内容来自《机器学习——基于sklearn》,用于学习记录。若有争议联系删除。

1、评价指标

        对于模型的评价往往会使用损失函数和评价指标,两者的本质是一致的。一般情况下,损失函数应用于训练过程,而评价指标应用于测试过程。对于回归问题,往往使用均方误差等指标评价模型,也使用回归损失函数作为评价指标。而分类问题的评价指标一般会选择准确率、ROC曲线和AUC等,其评价指标如下:

术语 sklearn函数
混淆矩阵 confusion_matrix
准确率 accuracy_score
召回率 reacall_score
f1_score f1_score
ROC曲线 roc_curve
AUC roc_auc_score
分类评估报告 classification_report

2、混淆矩阵

        在机器学习领域,混淆矩阵(confusion matrix)是衡量分类模型准确度的方法中最基本、最直观、计算最简单的方法。混淆矩阵又称为可能性表格或错误矩阵,用来呈现算法性能的可视化效果,通常应用于监督学习。混淆矩阵由n行n列组成,其每一列表预测值,每一行代表实际的类别。例如,一个人得病了,但检查结果说他没病,那么他“假没病”,也叫假阴性(FN);一个人得病了,医生判断他有病,那么他是“真有病”,也叫阳性(TP);一个人没得病,医生检查结果却说他有病,那么他是“假有病”,也叫假阳性(FP);一个人没得病,医生检查结果也说他没病,那么他是“真没病”,也叫真阴性(TN)4种结局就是2X2=4的混淆矩阵,如表所示。

机器学习——分类评价指标_第1张图片

        FN、TP、FP、TN共包含4个字母P、N、T、F,英文分别是 Positive、Negative、True、False。True和 False 代表预测本身的结果是正确还是不正确,Positive 和 Negative则是代表预测的方向是正向还是负向。
        每一行之和表示该类别的真实样本数量,每一列之和表示被预测为该类别的样本数量。预测性分类模型肯定是越准越好。因此混淆矩阵中TP与 TN的数值越大越好,而FP与FN的数值越小越好。
混淆矩阵具有如下特性:

  • 样本全集=TPUFPUFNUTN。
  • 任何一个样本属于且只属于4个集合中的一个,即它们没有交集。

2.1 混淆矩阵示例

        某系统用来对猫(cat)、狗(dog)、免子(rabbit)进行分类。现共有27只动物,包括8只猫、6条狗和13只兔子。混淆矩阵如表所示。

机器学习——分类评价指标_第2张图片

        在这个混淆矩阵中,实际有8只猫,但是系统将其中3只猫预测成了狗;实际有6条狗,其中有一条狗被预测成了免子,两条狗被预测成了猫;实际有13只兔子,其中有2只兔子被预测成了狗。
        sklearn,metrics模块提供了confusion_matrix函数,格式如下:

sklearn.metrics.confusion_matrix(y_true, y_pred,labels)

【参数说明】

  • y_true:真实目标值
  • y_pred:估计器预测目标值
  • labels:指定类别对应的数字

示例:

from sklearn.metrics import confusion_matrix
y_true = [2,0,2,2,0,1]
y_pred = [0,0,2,2,0,2]
print('confusion_matrix\n', confusion_matrix(y_true, y_pred))
y_true = ['cat', 'ant', 'cat', 'cat', 'ant', 'bird']
y_pred = ['ant', 'ant', 'cat', 'cat', 'ant', 'cat']
print('confusion_matrix\n', confusion_matrix(y_true, y_pred, labels = ['ant','bird', 'cat']))

【运行结果】

机器学习——分类评价指标_第3张图片真实值中,共0,1,2三个特征。

2.2 准确率

准确率(accuracy)是最常用的分类性能指标。准确率是预测正确的样本数与总样本数的比值。其计算公式:

ACC= \frac{TP+TN}{P+N}

sklearn.metrics模块提供了accuracy_score函数,格式如下:

 sklearn.metrics.accuracy_score(y_true, y_pred, normalize)

【参数说明】

  • y_true:真实目标值
  • y_pred:估计器预测目标值
  • normalize:是否正则化。默认为True,返回正确分类的比例;False返回正确分类的样本数。

示例:

import numpy as np
from sklearn.metrics import accuracy_score
y_true = [0,1,2,3]
y_pred = [0,2,1,3]
print(accuracy_score(y_true, y_pred))
print(accuracy_score(y_true, y_pred, normalize = False))

2.3 精确率

        精确率(precision)又称为查准率。精确率只针对预测正确的正样本而不是所有预测正确的样本,是正确预测的正样本数与预测正样本总数的比值,其计算公式如下:

precision = \frac{TP}{TP+FP}

sklearn.metrics模块提供了precision_score函数,格式如下:

sklearn.metrics.precision_score(y_true, y_pred)

示例:

import numpy as np
from sklearn.metrics import precision_score
y_true = [1,0,1,1]
y_pred = [0,1,1,0]
p = precision_score(y_true, y_pred)
print(p)

2.4 召回率

        召回率(recall)是有关覆盖面的度量,它反映有多少正例被分为正例,又称查全率。查准率和召回率是一对矛盾的度量。查准率高时,召回率往往偏低;而召回率高时,查准率往往偏低。
召回率是正确预测的正例数与实际正例总数之比,计算公式如下

Recall = \frac{TP}{TP+FN}
sklearn.metrics模块提供了recall_score函数,格式如下:

sklearn.metrics.recall _score(y_true, y_pred, average)

        以信息检索为例,刚开始在页面上显示的信息是用户可能最感兴趣的信息,此时查准率高,但只显示了部分数据,所以召回率低;随着用户不断地下拉滚动条显示其余信息,信息与用户兴趣的匹配程度逐渐降低,查准率不断下降,召回率逐渐上升;当下拉到信息底部时,此时的信息是最不符合用户兴趣的,因此查准率最低,但所有的信息都已经展示,召回率最高。

3、F1分数

F1分数(F1 score)用于衡量二分类模型的精确度,是精确率和召回率的调和值,其变化范围为0~1。F1分数的计算公式如下:

F1=\frac{2*TP}{2*TP+FN+FP}=\frac{2*precision*Recall}{Precision+Recall}

sklearn.metrics 模块提供了f1_score函数。格式如下:

sklearn.metrics.f1_score(y_true, predictions, average = 'micro

【参数说明】

  • y_true:真实目标值
  • predictions:估计器预测目标值

示例:

from sklearn import metrics
y_test = [0,0,0,0,0,0,0,0,0,0,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2]
y_pred = [0,0,1,1,0,0,0,2,2,0,1,1,1,1,2,1,1,2,2,1,2,2,2,2,2,2,1,1,2,2]
F1 = metrics.f1_score(y_test, y_pred, average = 'micro')
print("F1", F1)

4、ROC曲线

        ROC全称是“受试者工作特征”(Receiver Operating Characteristic)曲线,用于描述混淆矩阵中FPR-TPR两个量之间的相对变化情况。ROC曲线的横轴是FPR,纵轴是TPR。ROC曲线用于描述样本的真实类别和预测概率。

机器学习——分类评价指标_第4张图片

ROC曲线中的4个点如下:

  • 点(0,1):即 FPR=0,TPR=1,意味着FN=0且FP=0,所有的样本都正确分类
  • 点(1,0):即 FPR=1,TPR=0,最差分类器,避开了所有正确答案。
  • 点(0,0):即 FPR=TPR=0,FP=TP=0,分类器把每个样本都预测为负类。
  • 点(1,1):即 FPR=TPR=1,分类器把所有样本都预测为正类。

sklearn,metrics 模块提供了roc_curve函数,格式如下:

sklearn.metrics.roc_ curve(y_true, y_score)

【参数说明】

  • y_true:每个样本的真实类别,必须为0(反例)、1(正例)标记。
  • y_score:预测得分,可以是正类的估计概率

示例:

import numpy as np
from sklearn import metrics
y = np.array([1,1,2,2])
scores = np.array([0.1, 0.4, 0.35, 0.8])
fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label = 2)
print(fpr)
print(tpr)
print(thresholds)
from sklearn.metrics import auc
print(metrics.auc(fpr, tpr))

5、AUC

        AUC(Area Under Curve)是指 ROC曲线下的面积,由于ROC曲线一般都处于y=x这条直线的上方,所以AUC 的取值范围为0.5~1。AUC 只能用于评价二分类,直观地评价分类器的好坏,值越大越好。
AUC 对模型性能的判断标准如下:

  • AUC=1,是完美分类器。采用这个预测模型时,存在至少一个阈值能得出完美预测。在绝大多数预测的场合,不存在完美分类器。
  • 0.5
  • AUC=0.5,跟随机猜测一样(例如抛硬币),模型没有预测价值。
  • AUC<0.5,比随机猜测还差。但是,只要总是反预测而行,就优于随机猜测。

sklearn.metrics模块提供了roc_auc_score函数,格式如下:

sklearn.metrics.roc_auc_score(y_true, y_score)

【参数说明】

  • y_true:每个样本的真实类别,必须为0(反例)、1(正例)标记。
  • y_score:预测得分,可以是正类的估计概率。

示例:

import numpy as np
from sklearn.metrics import roc_auc_score
y_true = np.array([0,0,1,1])
y_score = np.array([0.1,0.4,0.35,0.8])
print(roc_auc_score(y_true, y_score))

6、分类评估报告

        Sklearn 中的classification_report函数用于显示主要分类指标的文本报告,显示每个类的精确度、召回率、F1值等信息。classification_report函数格式如下:

sklearn.metrics.classification _report(y_true, y_pred, labels, target_names)

【参数说明】

  • y_true:真实目标值。
  • y_pred:估计器预测目标值。
  • labels:指定类别对应的数字。
  • target_names:目标类别名称。

示例:

from sklearn.metrics import classification_report
y_true = [0,1,2,2,2]
y_pred = [0,0,2,2,1]
target_names = ['class 0','class 1','class 2']
print(classification_report(y_true, y_pred, target_names = target_names))

【运行结果】

机器学习——分类评价指标_第5张图片

你可能感兴趣的:(机器学习-基于sklearn,机器学习,分类,人工智能,python)