模型评估指标

模型评估指标【准度、精度、召回率、F1-score及ROC曲线】总结

参考于李沐的机器学习课程。

通常要使用多个模型综合评价一个模型的好坏。

Accuracy

• 预测正确的个数 / 样本总个数

sum(y_pred == y_label)/y_label.size()

Precision

• 正确地预测为类别 i 的个数 / 预测为 i 的总样本数
• 预测为 i 且就是 i 在所有预测为 i 的样本中占的比率
• 在预测为类别 i 的样本内部进行观察

sum((y_pred == 1)&(y_label==1))/sum(y_pred == 1)

Recall

• 正确的预测为 i 的个数 / 类别为 i 的总样本个数
• 在类别为 i 的样本内部进行观察

sum((y_pred)==1 & (y_label == 1))/sum(y_label == 1)

F1-score

• 平衡Precision和Recall（使用调和平均）

2*P*R/(P+R)

AUC&ROC

• AUC是ROC曲线下方的面积，用于测量模型能把类别分开的能力
  
  如图，Y轴表示正确的预测为正的个数 / 正样本的总个数，X轴表示错误的预测为正的个数 / 负样本的总个数。
  我们取一个变量θ，如果预测值大于θ,就将其预测为正。
  每个θ值，都会对应一个（x,y）坐标点，
  当θ的值从0变化到1时，就是ROC曲线。
  
  如图T(True)、F(False)、P(Positive)、N(Negative)，true和positive都表示正样本，单词不同只是为了区分真实值和预测值。
  TP（真实值为正 预测值为正）
  TN（真实值为正 预测值为负）
  FP（真实值为负 预测值为正）
  FN（真实值为负 预测值为负）
  第一行，表示存在一根线，能够完美的将两个类别区分开来。
  第二行，表示有一块数据是无法很好的进行区分的。
  第三行，表示所得的模型没有任何能力能区分正例和负例。
  第四行，表示正例和负例完全搞反了。