3.11 模型选择、过拟合和欠拟合

3.11 模型选择、过拟合和欠拟合

1、训练误差和泛化误差

• 训练误差：模型在训练集上表现的误差
• 泛化误差：模型在任意一个测试数据样本上表现

​ 训练误差的期望小于或等于泛化误差。也就是说一般情况下，由训练数据集学到的模型参数会使模型在训练数据集上的表现优于或等于在测试数据集上的表现。由于无法从训练误差估计泛化误差，一味地降低训练误差并不意味着泛化误差一定会降低。

​ 机器学习模型应关注降低泛化误差。

2、模型选择

（1）验证数据集

​ 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试集数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证测试集，简称验证集。

（2）k折交叉验证

​ 由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据集显得太奢侈。一种改善的方法是k折交叉验证（k-fold cross-validation）。在k折交叉验证中，我们把原始训练数据分割成k个不重合的子数据集，然后我们做k次模型训练和验证。每一次，我们使用一个子数据集验证模型，并使用其他k-1个子数据集来训练模型。在这k次训练和验证中，每次来验证模型的子数据集都不同。最后我们对这k次训练误差和验证误差分别求平均。

3、过拟合和欠拟合

• 欠拟合（underfitting）：模型无法得到较低的训练误差
• 过拟合（overfitting）：模型的训练误差远小于 它在测试集上的误差

​ 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很对因素可能导致这两种拟合问题，在这里，我们重点讨论两个因素：模型复杂度和训练数据集大小。

​ 给定训练数据集，模型复杂度和误差之间的关系通常如图3-4所示。

如果模型的复杂度过低，很容易出现欠拟合；如果模型复杂度过高，很容易出现过拟合。

​ 一般来说，如果训练集中的样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外泛化误差不会随着训练数据集里样本数量增加而增大。因此，在计算资源允许范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，如层数较多的深度学习模型。

4、多项式拟合实验

（1）生成数据集

​ 给定样本特征x，我们使用如下三阶多项式函数来生成三阶多项式函数来生成该样本的标签：
$$y=1.2x-3.4x^2+5.6x^3+5+ϵ$$
其中噪声项$ϵ$服从均值为0、标准差为0.1的正态分布。训练集和测试集的样本数都是100。

# 生成数据集
n_train, n_test, true_w, true_b = 100, 100, [1.2, -3.4, 5.6], 5
features = nd.random.normal(shape=(n_train + n_test, 1))
poly_features = nd.concat(features, nd.power(features, 2), nd.power(features, 3))
labels = (true_w[0] * poly_features[:, 0] + true_w[1] * poly_features[:, 1] + true_w[2] * poly_features[:, 2] + true_b)
labels += nd.random.normal(scale=0.1, shape=labels.shape)

（2）定义、训练和测试模型

# 定义、训练和测试模型
# 作图函数semilogy,其中y轴使用了对数尺度
def semilogy(x_vals, y_vals, x_label, y_label, x2_vals=None, y2_vals=None, legend=None, figsize=(3.5, 2.5)):
    d2l.set_figsize(figsize)
    d2l.plt.xlabel(x_label)
    d2l.plt.ylabel(y_label)
    d2l.plt.semilogy(x_vals, y_vals)
    if x2_vals and y2_vals:
        d2l.plt.semilogy(x2_vals, y2_vals, linestyle=':')
        d2l.plt.legend(legend)
    d2l.plt.show()

# 使用平方损失函数
num_epochs, loss = 100, gloss.L2Loss()


# 模型的定义放在fit_and_plot函数中
def fit_and_plot(train_features, test_features, train_labels, test_labels):
    net = nn.Sequential()
    net.add(nn.Dense(1))
    net.initialize()
    batch_size = min(10, train_labels.shape[0])
    train_iter = gdata.DataLoader(gdata.ArrayDataset(train_features, train_labels), batch_size, shuffle=True)
    trainer = gluon.Trainer(net.collect_params(), 'sgd', {'learning_rate': 0.01})
    train_ls, test_ls = [], []
    for _ in range(num_epochs):
        for X, y in train_iter:
            with autograd.record():
                l = loss(net(X), y)
            l.backward()
            trainer.step(batch_size)
        train_ls.append(loss(net(train_features), train_labels).mean().asscalar())
        test_ls.append(loss(net(test_features), test_labels).mean().asscalar())
    print('final epoch: train loss', train_ls[-1], 'test loss', test_ls[-1])
    semilogy(range(1, num_epochs + 1), train_ls,'epochs','loss', range(1, num_epochs + 1), test_ls, ['train', 'test'])
    print('weight:', net[0].weight.data().asnumpy, '\nbias:', net[0].bias.data().asnumpy)

（3）三阶多项式函数拟合（正常）

fit_and_plot(poly_features[:n_train,:],poly_features[n_train:,:],labels[:n_train],labels[n_train:])

输出：

final epoch: train loss 0.007004017 test loss 0.0063469713
weight: > 
bias: >

（4）线性函数拟合（欠拟合）

fit_and_plot(features[:n_train,:],features[n_train:,:],labels[:n_train],labels[n_train:])

输出：

final epoch: train loss 159.33261 test loss 102.9509
weight: > 
bias: >

（5）训练样本不足

只使用两个样本来训练模型

fit_and_plot(poly_features[0:2,:],poly_features[n_train,:],labels[0:2],labels[n_train:])

输出：

final epoch: train loss 0.48284632 test loss 134.29808
weight: > 
bias: >