人智导（十四）：学习模型的效果评价

人智导（十四）：学习模型的效果评价

准确度度量

侧重在模型的预测能力方面，其次才是其它方面，如效率，可伸缩性等等

a：TP（真正 true positive）
b：FN（假负 false negative）
c：FP （假正 false positive）
d：TN（真负 true negative）
准确度：$$Accuracy=\frac{a+d}{a+b+c+d}$$
准确度度量的局限性：

• 在一些应用情况中，准确度度量是不合适的
• 我们考虑二分类（0， 1）问题：
  • 0类例子的数量：1145141919810
  • 1类例子的数量：1919
  • 假如预测每一个都是类别0，其准确度很高
  • 这样的准确度产生了误导，因为模型没有识别出任何一个类型1的例子

精度和召回率度量

$$Precision(p)=\frac{a}{a+c}$$
$$Recall(r)=\frac{a}{a+b}$$

F-值度量

• F-值度量：$$F-measure(F)=\frac{2rp}{r+p}=\frac{2a}{2a+b+c}$$
• F-值度量把精度(precision)和召回率(recall)组合为一
• 两个度量出现的问题
  • precison p = 100%
  • recall r = 1%

ROC曲线

数据不平衡情况
例如： +：患病 ；-：健康

真正率 TP rate = TP / (TP + FN)
假正率 FP rate = FP / (FP + TN)

评估方法

• 保持法(holdout)：训练集和验证集
  • 蒙特卡洛交叉验证
• k-折交叉验证
  • 数据集划分为k份
  • 使用k-1份作为训练集，1份作为测试集，然后k次交叉验证