如何解决过拟合/欠拟合问题

1. 什么是过拟合/欠拟合

• 过拟合：模型在训练集上表现很好，但在测试集上表现很差；即模型的泛化能力差。
• 欠拟合：模型在训练集上表现很差，没有测试的必要。

2. 如何防止过拟合

• 增加训练集：通过使用更多的训练数据提高模型鲁棒性，减少噪声影响。这是解决过拟合的根本性方法
• 数据增强：图像旋转/缩放/裁剪等，作用与增加训练集相同
• 降维：丢弃一些不能帮助我们正确预测的特征
• 选择合适的模型：控制模型的复杂度，比如一般来讲，CNN层数越多效果越好，但是也更容易过拟合
• 正则化：减少模型参数，降低模型复杂度
• 工程技巧：早停（early stopping），Dropout 和 Dropconnect
• 集成学习：降低单一模型的过拟合风险

3. 如何防止欠拟合

• 选择合适的模型：使用更复杂性能更强的模型
• 减小正则化系数
• 添加新特征：当特征不足或现有特征与样本标签相关性不强时，容易出现欠拟合
• 增加模型训练时间直到拟合：一般用不上