pytorch 欠拟合和过拟合 多项式回归

欠拟合

    训练误差和验证误差都有，还可能比较严重， 但它们之间仅有差距不大。 这个时候模型不能降低训练的误差，有可能是我们设计的模型简单了，表达能力不足， 捕获试图学习的模式比较难。由于我们的训练和验证误差之间的泛化误差很小， 这个时候我们认为可以用一个更复杂的模型降低训练误差，那这个时候模型就被称为欠拟合，英文：underfitting

过拟合

     发现模式 pattern 是机器学习智能专家的目标，我们需要做的是：确定模型是真正发现了一种泛化的模式， 并不是简单记数据，如果只是简单记住了数据，虽然在一定程度上，部分预测能够到达要求，但是泛化太差，而且，有一个比较明显的现象：训练误差明显低于验证误差，那么这个时候，我们称之为过拟合

如何防止

    在训练参数化机器学习模型时， 权重衰减（weight decay）是最广泛使用的正则化的技术之一， 它通常也被称为正则化。

    正则化这项技术通过函数与零的距离来衡量函数的复杂度， 因为在所有函数中，函数（所有输入都得到值） 在某种意义上是最简单的。 我们应该如何精确地测量一个函数和零之间的距离呢？ 没有一个正确的答案。 这就和人脑一样，虽然大部分时间是正常的，一遇到非正常情况，真不一定能反应过来。这个时候，我们经常说要放空自己，也就是学习的东西未必是智慧，可能只是知识，这时候，方法出来了，叫做放弃特征 dropout。

除了放弃特征，还有一个方案，就是增大数据集，训练数据集中的样本越少，我们就越有可能（且更严重地）过拟合。 随着训练数据量的增加，泛化误差通常会减小
而函数分析和巴拿赫空间理论的研究，致力于回答这种问题。

了解训练误差和泛化误差

这里可以看出模型过于复杂，显然容易产生过拟合。

同样，多项式回归的容易过拟合的原因在于阶数太高，有关于程序，我们将在下一节介绍