深度学习模型调参经验

调参经验：

1.Seed在小数据集上有着重要作用，用于参数初始化，可以选取合适的seed。

2.确定epoch，是根据损失函数的值，画出损失函数曲线图，人工确认或者运用早停法。进而再确定auc。

3.batch_size在大数据集上尝试1024，2048等，都可以尝试。看看loss的下降情况，再选用效果更好的值。

batch_size太小，收敛得慢，导致网络收敛不稳定，可能准确率来回震荡，因此需要把基础学习速率降低一些。

Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。但可能模型的泛化能力会下降,每个batch更接近当前的训练数据集，而不是测试数据集。

4.学习率。适配batch_size，一般10-3，10-4。如果增加了学习率，那么batch size最好也跟着增加，这样收敛更稳定。

5.在多任务中，一般来说中间专家层层数越多，或者数量越多，所得精度越高。

参考资料：

(68 封私信 / 80 条消息) 深度学习中的batch的大小对学习效果有何影响？ - 知乎 (zhihu.com)