机器学习之分类的评估方法

分类的评估方法

1 精确率和召回率
  1. 混淆矩阵
          在分类任务下,预测结果(Predict Condition)与正确标记(True Condition)之间存在四种不同的组合,构成混淆矩阵(适用于多分类)
    机器学习之分类的评估方法_第1张图片
  2. 精确率(Precision)与召回率(Recall)
    (1)精确率:预测结果为正例样本中真实为正例的比例(了解)
          精确率= T P T P + F P \frac{TP}{TP+FP} TP+FPTP
    机器学习之分类的评估方法_第2张图片
    (2)召回率:真实为正例的样本中预测结果为正例的比例(对正样本的区分能力,差的全不全)
          召回率= T P T P + F N \frac{TP}{TP+FN} TP+FNTP
    (3)F1-score,反映了模型的稳健性
          F1= 2 T P 2 T P + F N + F P = 2 P r e c i s i o n ∗ R e c a l l P r e c i s i o n + R e c a l l \frac{2TP}{2TP+FN+FP}=\frac{2Precision*Recall}{Precision+Recall} 2TP+FN+FP2TP=Precision+Recall2PrecisionRecall
  3. 分类评估报告API
    sklearn.metrics classification_report(y_true,y_pred,labels=[],target_name=None)
    y_true:真实目标值
    y_pred:估计器预测目标值
    labels:指定类别对应的数字
    target_name:目标类别名称
    return:每个类别精确率与召回率

      假设这样一个情况,如果99个样本癌症,1个样本非癌症,不管怎样我全都预测正例(默认癌症为正例),准确率就为99%,但是这样效果并不好,这就是样本不均衡下的评估问题。
准确率:99%
召回率:100%
精确率:99%
F1-score:2*99%*100%/199%=99.497%
工厂里面的质量检测,关注的也是次品的召回率。
问题:如何衡量样本不均衡下的评估?

ROC曲线和AUC指标(衡量样本在不均衡的情况下好不好)
  1. 知道TPR与FPR
    TPR=TP/(TP+FN)-----所有真实类别为1的样本中,预测类别为1的比例
    FPR=FP/(FP+TN)----所有真实类别为0的样本中,预测类别为1的比例
  2. ROC曲线
          图中的蓝色为ROC曲线,ROC曲线的横轴就是FPRate,纵轴就是TPRate,当二者相等时,表示的意义则是:对于不论真实类别是1还是0的样本,分类器预测为1的概率是相等的,此时AUC为0.5。
    机器学习之分类的评估方法_第3张图片
  3. AUC指标
    (1)AUC的概率意义是随机取一对正负样本,正样本得分大于负样本的概率
    (2)AUC的最小值为0.5,最大值为1,取值越高越好
    (3)AUC=1,完美分类器,采用这个预测模型时,不管设定什么阈值都能得出完美的预测。绝大多数的预测场合,不存在完美分类器
    (4)0.5 (5)最终AUC的范围在[0.5,1]之间,并且越接近1越好。
    注意:如果AUC<0.5,反过来看。
  4. AUC计算API
    sklearn.metrics import roc_auc_score(y_true,y_score)
    计算ROC曲线的面积,即AUC值
    y_true:每个样本的真实类别,必须为0(反例),1(正例)标记
    y_score:预测的分,可以是正类的估计概率、置信值或者分类器方法的返回值
案例:癌症分类预测

      结合上一个逻辑回归的癌症分类预测的案例,对于预测的结果使用精确率和召回率以及AUC进行评估,代码如下:

#查看精确率、召回率、F1-score
from sklearn.metrics import classification_report
report = classification_report(y_test,y_predict,labels=[2,4],target_names=["良性","恶性"])
print(report)

结果:
机器学习之分类的评估方法_第4张图片

#计算ROC和AUC
#y_true:每个样本的真实类别,必须为0(反例),1(正例)标记
#将y_test转换成0/1
y_true = np.where(y_test>3,1,0)
from sklearn.metrics import roc_auc_score
roc_auc_score(y_true,y_predict)

结果:
机器学习之分类的评估方法_第5张图片
在这里插入图片描述

总结
  • AUC只能用来评价二分类
  • AUC非常适合评价样本不平衡中的分类性能

你可能感兴趣的:(机器学习)