机器学习之分类的评估方法

分类的评估方法

1 精确率和召回率

1. 混淆矩阵
         在分类任务下，预测结果（Predict Condition）与正确标记（True Condition）之间存在四种不同的组合，构成混淆矩阵（适用于多分类）
   
2. 精确率（Precision）与召回率（Recall）
   （1）精确率：预测结果为正例样本中真实为正例的比例（了解）
         精确率=$\frac{TP}{TP+FP}$
   
   （2）召回率：真实为正例的样本中预测结果为正例的比例（对正样本的区分能力，差的全不全）
         召回率=$\frac{TP}{TP+FN}$
   （3）F1-score，反映了模型的稳健性
         F1=$\frac{2TP}{2TP+FN+FP}=\frac{2Precision\ast Recall}{Precision+Recall}$
3. 分类评估报告API
   sklearn.metrics classification_report(y_true,y_pred,labels=[],target_name=None)
   y_true：真实目标值
   y_pred：估计器预测目标值
   labels：指定类别对应的数字
   target_name：目标类别名称
   return：每个类别精确率与召回率

      假设这样一个情况，如果99个样本癌症，1个样本非癌症，不管怎样我全都预测正例（默认癌症为正例），准确率就为99%，但是这样效果并不好，这就是样本不均衡下的评估问题。
准确率：99%
召回率：100%
精确率：99%
F1-score：2*99%*100%/199%=99.497%
工厂里面的质量检测，关注的也是次品的召回率。
问题：如何衡量样本不均衡下的评估？

ROC曲线和AUC指标（衡量样本在不均衡的情况下好不好）

1. 知道TPR与FPR
   TPR=TP/(TP+FN)-----所有真实类别为1的样本中，预测类别为1的比例
   FPR=FP/(FP+TN)----所有真实类别为0的样本中，预测类别为1的比例
2. ROC曲线
         图中的蓝色为ROC曲线，ROC曲线的横轴就是FPRate，纵轴就是TPRate，当二者相等时，表示的意义则是：对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的，此时AUC为0.5。
   
3. AUC指标
   （1）AUC的概率意义是随机取一对正负样本，正样本得分大于负样本的概率
   （2）AUC的最小值为0.5，最大值为1，取值越高越好
   （3）AUC=1，完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美的预测。绝大多数的预测场合，不存在完美分类器
   （4）0.5 （5）最终AUC的范围在[0.5，1]之间，并且越接近1越好。
   注意：如果AUC<0.5，反过来看。
4. AUC计算API
   sklearn.metrics import roc_auc_score(y_true,y_score)
   计算ROC曲线的面积，即AUC值
   y_true：每个样本的真实类别，必须为0（反例），1（正例）标记
   y_score：预测的分，可以是正类的估计概率、置信值或者分类器方法的返回值

案例：癌症分类预测

      结合上一个逻辑回归的癌症分类预测的案例，对于预测的结果使用精确率和召回率以及AUC进行评估，代码如下：

#查看精确率、召回率、F1-score
from sklearn.metrics import classification_report
report = classification_report(y_test,y_predict,labels=[2,4],target_names=["良性","恶性"])
print(report)

结果：

#计算ROC和AUC
#y_true：每个样本的真实类别，必须为0（反例），1（正例）标记
#将y_test转换成0/1
y_true = np.where(y_test>3,1,0)
from sklearn.metrics import roc_auc_score
roc_auc_score(y_true,y_predict)

结果：

总结

• AUC只能用来评价二分类
• AUC非常适合评价样本不平衡中的分类性能