深度学习优化算法大全系列3:NAG(Nesterov Acceleration Gradient)

1.NAG与SGD-M的区别

NAG全称为Nesterov Accelerated Gradient，是在SGD-Momentum基础进一步优化所得。
前面的文章我们提到过，SGD-M主要是利用历史累积动量来代替当前梯度从而达到减小震荡，加速收敛的目的。而NAG与SGD-M的区别在于，在计算当前梯度的时候，先跟随历史累积动量前进一步，然后再看下一步怎么走。

2.算法流程

假定初始参数为$\theta$，初始动量$v$，动量超参数为$\alpha$，梯度超参数为$ϵ$，则整个NAG算法流程如下：

1.从训练集中采样m个样本$x^{(1)}$, $x^{(2)}$…, $x^{(m)}$，对应的标签为$y^{(i)}$。
2.计算当前梯度之前先走一步：$\hat{\theta }=\theta +\alpha v$
3.计算当前梯度：$g={▽}_{\theta }{\sum }_{i}L(f(x^{(i)};\hat{\theta }),y^{(i)})$
4.计算动量更新： $v=\alpha v-ϵg$
5.参数更新$\theta =\theta +v$

从上面的流程不难看出，NAG与SGD-M的区别就在第二步，其他都一样。