11 模型选择 + 过拟合和欠拟合

训练集:用于训练权重参数

验证集:用来调参,评价模型的好坏,选择合适的超参数

测试集:只用一次,检验泛化性能,实际场景下的数据

非大数据集通常使用K-折交叉验证

K-折交叉验证

一个数据集分成K份,每次拿出1份做验证集,其余K-1份做训练集,共做K次训练,求得K次训练的平均精度。K-折交叉验证降低数据分布不均匀带来的误差,举一个极端的例子,K=10000,将数据集分成10000份,做10000次训练,求得平均误差,这样做充分利用了数据,同时也会付出高昂的成本。如果数据集很大,可以采取K=2或3。

过拟合和欠拟合

模型容量:拟合各种函数的能力

模型容量和数据之间的关系

模型容量低,数据简单,可以取得不错的效果

模型容量低,数据复杂,无法学习到足够的信息,可能导致欠拟合。如用线性方程拟合曲线分布的数据

模型容量高,数据量简单,极端情况,模型可以把所有数据全部存下来,这样容易出现过拟合。如用多次方程拟合曲线分布的数据

模型容量高,数据量复杂,可以学习到更多复杂的知识,往往具有较好的性能,这也是目前的一个方向

11 模型选择 + 过拟合和欠拟合_第1张图片

横坐标是模型容量,每一个点代表一个模型,纵坐标是误差。从零点往右看,刚开始训练模型容量低,拟合能力比较弱,训练误差比较大,泛化误差也比较大。随着模型容量的增高,训练误差逐渐减少,模型足够大到记住所以训练数据,训练误差可以为0。同时,泛化误差也在降低,可以看到当泛化误差过了一个临界点,泛化误差不降反增,处于过拟合状态,这个阈值点是理论的最优点。我们尽量减少泛化误差和训练误差的gap。

11 模型选择 + 过拟合和欠拟合_第2张图片

结论:模型容量需要匹配数据规模,否则容易出现欠拟合和过拟合。从理论上讨论,统计机器学习提供工具衡量模型容量复杂度,往往计算复杂。实际中,更多通过实验观察训练误差和验证误差。

b站链接:模型选择_哔哩哔哩_bilibili

你可能感兴趣的:(动手学深度学习,PyTorch版,人工智能,人工智能,机器学习,深度学习)