day4-过拟合,欠拟合

内容包括:

  1. 训练误差和泛化误差
  2. 训练集,交叉验证集,测试集
  • k折交叉验证
  1. 过拟合和欠拟合

  2. 过拟合的解决手段

训练误差和泛化误差

训练误差是在训练集上的误差
泛化误差是通过训练集得到的模型在测试集上的误差

训练集,交叉验证集和测试集

一个完整的数据集为了能训练出更泛化的模型,建议将数据集分为三个部分

训练集: 训练模型

交叉验证集: 训练得到的模型在交叉验证集上预测,借由在验证集的表现决定是否选择当前得到的模型,如果不满意可以修改超参数等,直到找到在验证集表现最好的模型,然后在测试集上测试

测试集:得到的模型在该数据集测试

k折交叉验证

数据不够用时,可以将训练集分为k份,其中k-1份拿来训练,1份拿来验证,并以此往复,一共有k种训练方案,选择在验证集表现最好的模型作为最终模型

过拟合和欠拟合

过拟合:训练误差小但是泛化误差大,也就是在训练集表现很好,但是测试集表现不好

欠拟合:训练误差较大叫欠拟合

过拟合解决手段

目标:使得模型复杂度低,尽可能的简单

  1. 在损失函数上加正则项,比如l1和l2正则,惩罚w大的,使其变小趋近于0

  2. dropout,训练的时候随机丢弃一部分神经元训练,测试的时候不丢弃

你可能感兴趣的:(day4-过拟合,欠拟合)