神经网络机器翻译Neural Machine Translation(5): Gradient-based Optimization Algorithms

本文将介绍近两年应用到端到端的神经网络模型中的一些优化方法。

转载请注明出处：http://blog.csdn.net/u011414416/article/details/51567362

本文将介绍近两年应用到端到端的神经网络模型中的一些参数优化方法，包括SGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam等。

本文全文参考自博客：http://sebastianruder.com/optimizing-gradient-descent/index.html

Hinton’s Lecture: http://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf

各个方法在MNIST数据集上的比较： http://cs.stanford.edu/people/karpathy/convnetjs/demo/trainers.html