机器学习 西瓜书 第二章阅读笔记+公式推导

2.1 经验误差与过拟合

• 基础概念（一般字面意思能理解的我就不记录辽）
  • 错误率
  • 精度=1-错误率
  • 误差：学习器的实际预测输出与样本的真实输出之间的差异
  • 训练误差/经验误差：学习器在训练集上的误差
  • 泛化误差：学习器在新样本上的误差
  • 过拟合：
    
    
  • 对于过拟合的更深理解：
    • 过拟合是机器学习面临的关键障碍，各类学习算法都必然带有一些针对过拟合的措施；但是，过拟合是无法彻底避免的，我们所能做的只是“缓解”，或者说减小其风险。
    • 有很多因素导致过拟合，最常见的是由于学习能力过于强大，把训练样本所包含的不太一般的特性学习都学到了。
  • 模型选择：
    

2.2 评估方法

• 为什么互斥：希望模型能有举一反三的能力

2.2.1 留出法

2.2.2 交叉验证法

留一法：用n-1个样本训练，用1个样本测试，进行n次过程（白话）

2.2.3 自助法

目的：减少训练样本规模不同造成的影响，同时还能比较高效地进行实验估计

• 优缺点和适用情况
  
  

2.2.4 调参与最终模型

• 参数调节/调参：对算法参数进行设定
• 困难：学习算法的很多参数是在实数范围内取值，因此，对每种参数配置都训练出模型来时不可行的
• 常用做法：对每个参数选定一个范围和变化步长
  
  

2.3 性能度量

• 性能度量：衡量模型泛化能力的评价标准
  
  

2.3.1 错误率与精度

• 分类任务中最常用的两种性能度量：错误率和精度（二分类和多分类）
• 定义
  

2.3.2 查准率、查全率与F1

错误率与精度虽然常用，但不能满足所有任务需求

• 类似于“检索中的信息有多少比例是用户感兴趣的”，“用户感兴趣的信息中有多少被检索出来了”
• 查准率precision和查全率recall是更为使用于此类需求的性能度量
• 真正TP、假正FP、真负TN、假负FN
• 混淆矩阵与查全率查准率的定义
  
  如何理解？
• 对于TP、FP、TN、FN：后一个是预测出来的结果的性质，前面是预测的对或者不对，组合起来可以得到样本的真实的性质。
• 对于查准率和查全率：
  
• P-R图
  
• 用PR曲线比较不同模型的优劣
  • 当一个曲线把另一个包住时，一定优于被包住的曲线对应的模型
  • 当曲线有交叉时，很难断言孰优孰劣
    • 一些合理的判据
      • P-R曲线下的面积，在一定程度上表征了学习器在查准率和查全率上取得相对“双高”的比例
      • 平衡点：Break-Event Point，BEP，当查准率=查全率时的取值
      • F1度量，更常用
        
• 当对查全率和查准率的重视程度不同时：
  
• 在n个二分类混淆矩阵上综合考察查准率和查全率的两种方法：宏和微
  

2.3.3 ROC与AUC

• 截断点：0-1之间判定样本为正例还是负例的值，取不同的值体现了对查全率和查准率的不同重视程度
  
  
  
• ROC如何进行学习器比较？
  
  

2.3.4 代价敏感错误率与代价曲线

• 非均等代价：为权衡不同类型错误所造成的不同损失
  
• 代价敏感错误率：
  
• 学习器的期望总体代价：
  

2.4 比较检验

2.4.1 假设检验

• 假设：对学习器泛化错误率分布的某种判断或猜想
• 置信度：结论的可靠性，=1-显著度
• 二项检验
  
  
  

2.4.2 交叉验证t检验（适用于对不同学习器的性能进行比较）

2.4.3 McNemar检验

2.4.4 Friedman检验与Nemenyi后续检验（多个数据集多个算法进行比较）

2.5 偏差与方差（了解学习算法为什么具有这样的性能）