深度学习优化算法记录

1.

An overview of gradient descent optimization algorithms

http://sebastianruder.com/optimizing-gradient-descent/

2.  

各种优化方法总结比较（sgd/momentum/Nesterov/adagrad/adadelta）

3.

常见优化算法 (caffe和tensorflow对应参数)

4.

比Momentum更快：揭开Nesterov Accelerated Gradient的真面目

https://zhuanlan.zhihu.com/p/22810533

5.

用Theano实现Nesterov momentum的正确姿势

https://zhuanlan.zhihu.com/p/20190387