啃书《机器学习》西瓜书 第1、2章模型评估与模型选择

第一章绪论

1.归纳偏好与“奥卡姆剃刀”

归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”。解决“什么样的模型更好？”的问题。
“奥卡姆剃刀”：是一种常用的、自然科学研究中的基本的原则：若多个假设与观察一直，则选择最简单的那个。

2.“没有免费的午餐”定理

不同归纳偏好的学习算法的期望性能都是相同的。
但是NFL定理的重要前提是：所有问题的出现机率相同，或者说所有问题同等重要。
所以谈论算法的优劣必须要针对具体问题。

3.泛化能力

模型适用于新样本的能力

第二章模型评估与选择

1.经验误差与过拟合

经验误差/训练误差：学习器在训练集上的误差
泛化误差：学习器在新样本上的误差
过拟合：通常是因为学习能力过于强大，以至于把训练样本所包含的不太一般的特性都学习到了
欠拟合：通常是由于学习能力低下造成的。

2.评估方法：

测试集：测验机器学习对新样本的判别能力。
测试误差：作为泛化误差的近似
测试集与训练集应该互斥

2.1留出法：

直接将数据集划分为两个互斥的集合，一个作为训练集，一个作为测试集。
测试集训练集要尽量保持数据分布的一致性。一般采用若干次随机划分、重复进行实验评估后取平均值作为评估结果的方法。

2.2交叉验证法：

将数据集划分为k个大小相似的互斥子集，每个子集数据分布尽可能一致。每次用k-1个子集作为训练集，余下的作为测试集。这样得到k次训练和测试，最后返回k个测试结果的均值。也称“k折交叉验证法”。为减少划分方式引起的差别，k折交叉验证通常随机使用不同的划分充分p次。（一共测试p*k次），即p次k折交叉验证。

2.3留一法：

交叉验证法中，k=样本容量

2.4自助法：

样本容量为m，则进行有放回的采样m次，每次采样1个样本。最后会得到一个包含m个样本的数据集。数据集中会有重复的。样本在m次采样中始终不被采到的概率约为0.368.

自助法适合数据集较小、难以有效划分训练/测试集的情况。
在初始数据量足够时，留出法和交叉验证法更常用些。

2.5调参与最终模型：

调参：大多数算法有参数设定，参数配置不同，得到的模型性能往往有显著差别。对算法的参数进行设定就是“调参”。
调参方法：对每个参数选定一个范围和步长变化。得到在计算开销和性能估计之间进行这种的后果。
最终模型：给定包含m个样本的数据集D，通常我们用一部分样本进行训练，另一部分进行评估测试。实际上只使用了一部分数据训练模型。在模型选择完成后，学习算法和参数配置已选定，此时应该用数据集D重新训练模型，这才是最终的模型。

3性能度量

3.1错误率和精度

错误率：分类错误的样本数占样本总数的比例
精度：分类正确的样本数占样本总数的比例

3.2查准率与查全率

分类问题的混淆矩阵：

混淆矩阵提出了四个评价指标：真正例、假正例、假反例、真反例。
（帮助记忆：指标中的“正”、“反”代表我们预测的是正例还是反例；指标中的“真”、“假”代表我们预测结果和真实情况是否相符）

查准率P=TP/(TP+FP)
在我们预测的正例中，真正为正例的比例

查全率R=TP/(TP+FN)
在所有真正的正例中，被我们预测出为正例的比例。

查准率和查全率是一对矛盾的度量。一般查准率高时，查全率往往偏低；查全率高时，查准率往往偏低。
以查准率为纵轴、查全率为横轴作图，可以得到查准率-查全率曲线，简称P-R曲线。

“平衡点”BEP：查全率=查准率时 的取值
F1=2PR/（P+R） （F1是基于R和F的调和平均）
Fβ：能让我们表达出对查准率/查全率的不同偏好。β度量了查全率对查准率的相对重要性。
β>1：对查全率有更大影响
β<1：对查准率有更大影响

3.3ROC 与 AUC

ROC曲线：与P-R曲线类似，但纵轴是“真正例率”TPR、横轴是“假正例率”FPR。
TPR=TP/(TP+FN)
FPR=FP/(TN+FP)
AUC:ROC曲线下方的面积

3.4代价敏感错误率

我们前面的性能度量都是默认代价均等的情况，但现实生活中常遇到，不同类型的错误造成的后果是不同的。
代价均等的情况：希望错误次数最少
非均等代价的情况：希望最小化“总体代价”
代价敏感错误率：定义不同类型的错误代价，用不同类型的错误次数*各自的代价，求和后除以样本总数得到代价敏感错误率。

3.4偏差与方差

泛化误差可以分解为偏差、方差和噪声之和
偏差：度量了学习算法的期望预期与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。（自变量是模型）
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。（自变量是训练集）
噪声：表达了在当前任务上任何学习算所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。