深度学习梯度下降优化方法分类汇总

第一类：基于梯度和moment（核心：衰减 ）

适用于一般的任务，有一个好的初始化值，收敛到全局或者局部的最优解；

SGD（Stochastic Gradient Descent）（直接梯度下降）

momentum（历史值在更新重占有一定的权重）

NAG（Nestero Accelerate Gradient）（超前一次计算，然后再来更新）

ASGD 空间换时间的一种SGD

第二类：自适应更新adaptive（核心：不同权重的参数的更新）

更新频率和更新量大的参数,适当减小步长（通过梯度倒数来实现），更适用于分布不均衡的任务，一般任务也可，收敛到全局或者局部最优解；

Adgrad（直接用梯度倒数，如果梯度太大有可能出现更新量太小的情况）

RMSprop（Root Mean Square 对梯度进行现有梯度和之前梯度占比的调整从而进行衰减，之后再取得倒数，这样减少Adgrad的情况）

Adadelta（更新量单位的问题，分子分母进行统一）

第三类：基于moment和基于adaptive的结合（核心：利用一阶梯度和二阶梯度、权重和衰减的设计）

结合了moment和自适应的一些优点，但是不是完全，计算量稍微大一些；

Adam（记录了梯度的期望一阶矩，和梯度二阶矩平方值的期望，再进行带倒数权重的衰减）

Adamax（把Adam二阶矩改成无穷矩，数值上更加稳定）

Nadam（Nesterov和Adam的结合，既超前又结合了动量和自适应）

第四类：牛顿算法的优化

BFGS

LBFGS

其它：Rprop：弹性反向传播，适用于fullpatch；

一般情况自适应要比SGD的更快的收敛；

常用的Adam和SGD理解起来比较简单，也更容易找问题，优化算法是为了找到最优解，在一些特定情况，一些特定的算法可以发挥作用，如果对训练时间无要求，一般情况下没必要使用特别复杂的优化算法；

具体原理可参考：

https://blog.csdn.net/qq_24819773/article/details/104455356