lstm 调节超参数的注意事项

以下是手动优化RNN超参数时需要注意的一些事：

小心出现过拟合，这通常是因为神经网络在“死记”定型数据。过拟合意味着定型数据的表现会很好，但网络的模型对于样例以外的预测则完全无用。
正则化有好处：正则化的方法包括$l1$、$l2$和丢弃法等。
保留一个神经网络不作定型的单独测试集。
网络越大，功能越强，但也更容易过拟合。不要尝试用10,000个样例来学习一百万个参数参数 > 样例数 = 问题。
数据基本上总是越多越好，因为有助于防止过拟合。
定型应当包括多个epoch（使用整个数据集定型一次）。
每个epoch之后，评估测试集表现，判断何时停止（提前停止）。
学习速率是最为重要的超参数。
总体而言，堆叠层是有好处的。
对于LSTM，可使用softsign（而非softmax）激活函数替代tanh（更快且更不容易出现饱和（约0梯度））。
更新器：RMSProp、AdaGrad或momentum（Nesterovs）通常都是较好的选择。AdaGrad还能衰减学习速率，有时会有帮助。
最后，记住数据标准化、MSE损失函数 + 恒等激活函数用于回归、Xavier权重初始化
(https://deeplearning4j.org/cn/lstm)

参考：https://www.jianshu.com/p/b99a03172ee0