深度学习：调參策略与技巧

调试深度学习模型的5个步骤：

1. 从最简单模型入手；
2. 成功搭建模型，重现结果；
3. 分解偏差各项，逐步拟合数据；
4. 用由粗到细随机搜索优化超参数；
5. 如果欠拟合，就增大模型等等；如果过拟合，就数据增强或调整模型等等（详细方法参照下文）。

超参数

常用的超参数优化方法有：手动优化、网格搜索、随机搜索、由粗到细、贝叶斯优化。
模型对不同超参数的敏感性：

欠拟合

欠拟合是指模型不能在训练集上获得足够低的误差。解决办法有：

1. 更换模型；
2. 增加模型复杂度；
3. 在模型中增加特征。

过拟合

过拟合是指模型在训练集上表现很好，但在测试集上却表现很差。
造成原因主要有以下几种：

1. 训练数据集样本单一，样本不足；
2. 训练数据中噪声干扰过大；
3. 模型过于复杂。

解决方法有：

1. 获取和使用更多的数据（数据集增强）；
2. 降低模型复杂度；
3. 正则化；
4. dropout；
5. Early stopping（提前终止）。

参考文献

为什么你的模型效果这么差，深度学习调参有哪些技巧？
欠拟合、过拟合及如何防止过拟合