吃瓜教程task01 第2章 模型评估与选择

第二章 模型评估与选择

2022/5/15 雾切凉宫 至2.3.3节

2.1 经验误差与过拟合

中文名	英文名	意义
训练误差/经验误差	training error/empirical error	学习器在训练集的误差
泛化误差	generalization error	在新样本上的误差
过拟合	overfitting	学习能力过于强大
欠拟合	underfitting	学习能力低下

2.2 评估方法

通过实验测试来对学习器的泛化误差进行评估

2.2.1 留出法

留出法(hold-out)直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S,另一个作为测试集T,即D= SUT, S∩T=0.在S上训
练出模型后,用T来评估其测试误差，作为对泛化误差的估计。

2.2.2 交叉验证法

“交叉验证法”(cross validation)先将数据集D划分为k个大小相似的互斥子集。每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到。然后，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集;这样就可获得k组训练/测试集，从而可进行k次训练和测试，通常把交叉验证法称为“k折交叉验证”(k-fold cross validation)。k最常用的取值是10，此时称为10折交叉验证;其他常用的k值
有5、20等。

2.2.3 自助法

“自助法”(bootstrapping)以自助采样法(bootstrap sampling)为基础(Efron and Tibshirani, 1993]. 给定包含m个样本的数据集D,我们对它进行采样产生数据集D:每次随机从D中挑选一个样本，将其拷贝放入D’，然后再将该样本放回初始数据集D中，使得该样本下次采样时仍有可能被采到；这个过程重复执行m次后，我们就得到了包含m个样本的数据集D’，这就是自助采样的结果。

自助法在数据集较小、难以有效划分训练/测试集时很有用。

2.2.4 调参与最终模型

大多数学习算法都有些参数(parameter)需要设定，参数配置不同，学得模型的性能往往有显著差别，因此，在进行模型评估与选择时，除了要对适用学习算法进行选择，还需对算法参数进行设定，这就是通常所说的“参数调节”或简称“调参”(parameter tuning).

2.3 性能度量

2.3.1错误率与精度

错误率是分类错误的样本数占样本总数的比例；

精度则是分类正确的样本数占样本总数的比例。

2.3.2查准率、查全率与F1

与错误率、精度等的区别个人感觉类似概率论中的条件概率。

对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为真正例TP(true positive)、 假正例FP(false positive)、 真反例TN(true negative)、假反例FN(false negative)四种情形，则显然有TP+ FP+TN+ FN =1样例总数。分类结果的“混淆矩阵”(confusion matrix)如表2.1所示。

查准率P和查全率R是一对矛盾的度量。故我们需要**“平衡点”(Break- Even Point, 简称BEP)**，它是“查准率P=查全率R”时的取值。

但平衡点BEP还是过于简化了些，更常用的是F1度量:

带偏好的F1度量：（β >0表示查全率R对查准率P的相对重要性）

P.S. β> 1时查全率R有更大影响; β< 1时查准率P有更大影响.