深度学习中优化方法——momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam

转载于：https://blog.csdn.net/u012328159/article/details/80311892

这篇文章写的很好，可是转载总是只能转部分不能转载全部且格式有问题，所以这里只贴链接，方便自己以后寻找。

个人觉得上文momentum、Nesterov Momentum的区别和改进没写的很详细，下面贴一个这方面分析的比较好的链接：
http://www.360doc.com/content/16/1010/08/36492363_597225745.shtml

Adadelta、RMSprop之间的区别也没有写的很详细，咋一看起来他们两个是一样的，下面贴一个写的不错的链接：
https://blog.csdn.net/u012759136/article/details/52302426/