过拟合欠拟合及其解决方案

模型选择、欠拟合和过拟合

由于无法从训练误差估计泛化误差,一味地降低训练误差并不意味着泛化误差一定会降低

机器学习模型应关注降低泛化误差。 可以使用验证数据集来进行模型选择

欠拟合指模型无法得到较低的训练误差,过拟合指模型的训练误差远小于它在测试数据集上的误差

 应选择复杂度合适的模型并避免使用过少的训练样本

权重衰减

正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小,是应对过拟合的常用手段

 权重衰减等价于L2范数正则化,通常会使学到的权重参数的元素较接近0

 权重衰减可以通过优化器中的weight_decay超参数来指定

 可以定义多个优化器实例对不同的模型参数使用不同的迭代方法

丢弃法

我们可以通过使用丢弃法应对过拟合

丢弃法只在训练模型时使用

你可能感兴趣的:(过拟合欠拟合及其解决方案)