An Empirical Exploration of Recurrent Network Architectures重点

文章作者做了多组实验检测各种不同结构的RNN在不同的问题上的表现,得到的结论包括:

(1)GRU在除了语言模型的其他地方比LSTM表现好
(2)LSTM with dropout在语言模型上表现好,有大的遗忘门偏置后表现更好
(3)在LSTM中,各个门的重要性为:遗忘门>输入门>输出门
(4)遗忘门在除了语言模型外的情况下影响非常大

语言模型的长期依赖效应强于其他场景

你可能感兴趣的:(机器学习)