深度学习最优化（四）—— 动量法/Nesterov/Adagrad/Adadelta/RMSprop/Adam/Nadam

1. SGD

现在的SGD一般都指小批量梯度下降，即每一次迭代计算mini-batch的梯度，然后对参数进行更新。

               

              

              

其中是模型参数，是模型目标函数，是目标函数的梯度，是学习率。

难点（缺点）：

          （1）学习率的选择。过低收敛缓慢，过高无法收敛。

          （2）“之字形”的出现，即在陡谷（一种在一个方向的弯曲程度远大于其他方向的表面弯曲情况）处震荡。如下图所示

2. 动量法（Momentum）

               

               

其中是一阶动量，是动量因子。

优点：改善“之字形”震荡，动量项在梯度指向方向相同的方向逐渐增大，对梯度指向改变的方向逐渐减小（不断中和）。

3. Nesterov

我们使用来移动，通过计算，我们能够得到一个下次参数位置的近似值——也就是能告诉我们参数大致会变为多少。那么，通过基于未来参数的近似值而非当前的参数值计算相得应罚函数并求偏导数，我们能让优化器高效地「前进」并收敛：

               

               

4. Adagrad

解决学习率的选择问题，对学习率进行自适应约束。

               

              

              

其中是个很小的数，为了确保分母不为0，是梯度平方的累积，为二阶动量。

优点：不需要手工调节学习率。

缺点：随着时间的增长，单调增长，单调减少，有可能过早的变为0，训练过早的结束。而且依然依赖与人工设定的学习率。

5. RMSprop

由于AdaGrad单调递减的学习率变化过于激进，RMSprop只关注过去一段时间的梯度平均值，离的时间越远越不重要。

               

              

              

6. Adadelta

RMSprop依然需要自己设定全局学习率，因此Adadelta在RMSprop的基础上，用参数更新的平方来替代全局学习率的位置，这样就可以省略全局学习率了。

               

               

              

              

7. Adam

融合一阶动量和二阶动量。

               

               

因为当和一开始被初始化为 0 时，最初的几步通常会偏向0，表示参数更新太慢。

他们使用偏差纠正系数，来修正一阶矩和二阶矩的偏差：

               

               

              

              

8. Nadam

Nesterov + Adam = Nadam

公式还没完全理解先不放了。

不知道算是原创还是转载，放上几篇参考网址吧：

              https://zhuanlan.zhihu.com/p/22252270

              https://www.cnblogs.com/shixiangwan/p/7532858.html

              https://zhuanlan.zhihu.com/p/32230623