2017年深度学习--梯度下降 优化算法研究

原文链接
【导读】梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。Sebastian Ruder曾在去年发表博文 《梯度下降优化算法综述》（An overview of gradient descent optimization algorithms），详细对比了梯度下降算法中的不同变种，并帮助使用者根据具体需要进行使用。 近日Ruder在针对2017年优化算法的一些新方法，在之前综述的基础上，整理出2017深度学习优化研究亮点，值得关注。
1. An overview of gradient descent optimization algorithms
http://ruder.io/optimizing-gradient-descent/index.html
https://arxiv.org/abs/1609.04747
2. 中文翻译《梯度下降优化算法综述》 http://blog.csdn.net/heyongluoyao8/article/details/52478715