深度神经网络调参——实用指南

整理自 《Hands On ML》——chapter 11

DNN有很多参数可以调节， 如何选择各种参数的设置是个难题。

（1）Table 11-2在很多问题中表现都很好。

表中的参数有时候需要调节：
（a）如果找不到合适的learning rate（太小收敛太慢；太大不够准确），可以尝试指数衰减（exponential decay）的learning schedule。

（b）如果训练集太小了，可以尝试data augmentation。

（c）如果需要一个稀疏模型，可以增加L1正则化项（也可以训练之后把小权重置为0）。如果需要更稀疏的模型，可以尝试用FTRL代替Adam优化算子，同时用L1正则化项。

（d）如果需要运行快速的模型，可能需要放弃Batch Normalization，用leaky RELU代替ELU。用稀疏模型也可以提高运行速度。

（2）当已经有解决类似问题的模型，可以部分利用训练好的模型（迁移学习）。