1.4模型评估、模型选择、正则化、交叉验证笔记

一、模型评估与模型选择

1.训练误差与测试误差

我们在训练模型的时候，经常会把手上的数据进行分组，一组用于训练模型的数据集，称之为训练集，一组用于验证模型的数据集，称之为测试集。
假设学习到的模型为 $Y=\stackrel{\Lambda }{f}(X)$，训练误差就是模型 $Y$ 关于训练数据集的平均损失，测试误差是模型 $Y$ 关于测试数据集的平均损失。

2.过拟合与模型选择

过拟合：如果一味追求提高对训练数据的预测能力，所选模型的复杂度则往往会比真模型更高。这种现象称为过拟合（over-fitting）

上图中，按照经验风险最小化的策略，求$L(w)$多项式的系数：

• 当 $M=0,M=1$时，数据拟合效果很差，这种现象叫做“欠拟合”，
• 当 $M=9$时，训练误差为$0$，从训练误差的角度来书，这个模型是最好的，但是其受到噪声的影响较大，对未知的数据预测并不一定是最好的；
• 当 $M=3$时，拟合度较好。
  关于模型复杂程度和预测误差之间的关系如下：
  
  从上图可知，并不是模型复杂程度越高越优。我们要选择的是针对测试误差最小的模型。

二、正则化与交叉验证

模型选择的典型方法是正则化，另一种常用的选择方法为交叉验证。

1.正则化

正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或罚项。一般形式为：

1.1 正则化 $L_2$ 范数

正则化项可以是参数向量的 $L_2$ 范数：

1.2 正则化 $L_1$ 范数

正则化项可以是参数向量的 $L_1$ 范数::

这里 $||w||=\sqrt{w_0^2+w_1^2+w_2^2...+w_n^2}$；正则化符合奥卡姆剃刀原理¹

2.交叉验证

2.1 简单交叉验证

• 首先随机地将已给数据分为两部分，一部分作为训练集，另一部分作为测试集（例如，70%的数据为训练集，30%的数据为测试集）；
• 然后用训练集在各种条件下（例如，不同的参数个数）训练模型，从而得到不同的模型；
• 在测试集上评价各个模型的测试误差，选出测试误差最小的模型。

2.2 S折交叉验证—常用

• 首先随机地将已给数据切分为S个互不相交的大小相同的子集；
• 然后利用S-1个子集的数据训练模型，利用余下的子集测试模型；
• 将这一过程对可能的S种选择重复进行；
• 最后选出S次评测中平均测试误差最小的模型。

2.3 留一交叉验证

当S＝N，称为留一交叉验证，往往在数据缺乏的情况下使用。

---

1. 奥卡姆剃刀原理：奥卡姆剃刀原理应用于模型选择时变为以下想法：在所有可能选择的模型中，能够很好地解释已知数据并且十分简单才是最好的模型，也就是应该选择的模型。 ↩︎