调参方法

(52 封私信 / 80 条消息) 你有哪些deep learning（rnn、cnn）调参的经验？ - 知乎 (zhihu.com)

如何选择神经网络的超参数 - 知识天地 - 博客园 (cnblogs.com)

ode_nn_2.0相比pull request程序做出的改进：

1.扩大batch_size： 发现训练集上面的loss已经降得很小而测试集的loss乱跳，这是由于训练集过小导致的。 尝试扩大batch_time和batch_size，发现单独扩大batch_size效果较好。

2.扩大神经网络的宽度： 发现随着积分次数的增加模型拟合能力变弱，这是神经网络复杂度不够导致的。 尝试扩大神经网络的层数或宽度，发现扩大宽度效果较好。

3.更换优化器，添加正则项： 把优化器从rmsprop换成Adam后精度有明显提高，同时运行速度变快。 进一步换成带正则项的AdamW，精度进一步提高。

4.动态调整学习率： 开始时快速拟合曲线形状，之后微调幅度。

5.早停法： 当模型性能不再提高时，停止训练。

炼丹实验室 - 知乎 (zhihu.com)

深度学习网络调参技巧 - 知乎 (zhihu.com)

深度学习调参策略（一） - 知识天地 - 博客园 (cnblogs.com)

深度学习调参策略（二） - 知识天地 - 博客园 (cnblogs.com)

深度学习网络调参技巧 - 知识天地 - 博客园 (cnblogs.com)

深度学习调参技巧总结 - 知识天地 - 博客园 (cnblogs.com)

深度学习调参技巧 - 知识天地 - 博客园 (cnblogs.com)

(15条消息) 几种交叉验证方法介绍及对比_yawei的博客-CSDN博客_交叉验证法

(15条消息) 在 Pytorch 中实现 early stopping_夏树让的博客-CSDN博客

(52 封私信 / 80 条消息) 机器学习中用来防止过拟合的方法有哪些？ - 知乎 (zhihu.com)

机器学习防止欠拟合、过拟合方法 - 知乎 (zhihu.com)

机器学习之正则化（Regularization） - Acjx - 博客园 (cnblogs.com)