optimizer for neural nets

本文主要对Momentum和adaptive lr进行介绍

Pytorch实现Momentum的方式

Regular momentum
$$p_{k+1}=\widehat{{\beta }_k}{p}_k+\nabla f_i(w_k)$$ $$w_{k+1}=w_k-{\gamma }_k{p}_{k+1}$$

$p$表示Momentum，$w$表示权重，在每次更新的时候，同时对$p$和$w$进行更新，其中$0\le \widehat{{\beta }_k}<1$，当$\widehat{{\beta }_k}$等于0的时候，等价于在直接做gradient descent。一般$\widehat{{\beta }_k}$可以取0.9或者0.99，但是要注意的是，在调$\widehat{{\beta }_k}$大小的时候，learning rate也需要做出对应的改变，$\widehat{{\beta }_k}$增大，$lr$就需要适当减小。

Nesterov’s momentum
$$p_{k+1}=\widehat{{\beta }_k}{p}_k+\nabla f_i(w_k)$$ $$w_{k+1}=w_k-{\gamma }_k(\nabla f_i(w_k)+\widehat{{\beta }_k}{p}_{k+1})$$

个人觉得相对于Regular momentum来说，因为$p_{k+2}=\widehat{{\beta }_k}{p}_{k+1}+\nabla f_i(w_{k+1})$，而Nesterov版本更新$w_k$的时候使用的是$\nabla f_i(w_k)+\widehat{{\beta }_k}{p}_{k+1}$，感觉上相当于是介于$p_{k+1}$和$p_{k+2}$之间，比$p_{k+1}$往前多看了半步的感觉。

在训练神经网络的时候，带Momentum的版本一般会比普通SGD版本要快一些，但是Regular和Nesterov版本表现相似。除了它的速度之外，Momentum的版本具有noise smoothing的特性，对于有噪声的梯度，或者在某步更新的时候选取的样本点计算的梯度方向与global minimum的方向相差甚远，Momentum对其的矫正作用显著。

另外的Regular Momentum表示方式

$$w_{k+1}=w_k-{\gamma }_k\nabla f_i(w_k)+{\beta }_k(w_k-w_{k-1})$$

Adaptive methods

不再是网络中的每一个权重都具有相同的学习率，而是每一个权重有它特有的学习率

RMSprop

$$v_{t+1}=\alpha v_t+(1-\alpha )\nabla f_i(w_t{)}^2$$ $$w_{t+1}=w_t-\gamma \frac{\nabla f_i(w_t)}{\sqrt{v_{t+1}}+ϵ}$$

上式中的$f_i(w_t{)}^2$为element-wise的平方。

Adam：带Momentum的RMSprop

$$m_{t+1}=\beta m_t+(1-\beta )\nabla f_i(w_t)$$ $$v_{t+1}=\alpha v_t+(1-\alpha )\nabla f_i(w_t{)}^2$$ $$w_{t+1}=w_t-\gamma \frac{m_t}{\sqrt{v_{t+1}}+ϵ}$$

$m_t$相当于Momentum

Adam得以work的原因在理论上并没有得到比较好的解释，并且Adam有着一些缺点，比如说在一些简单的问题上不会收敛，泛化误差可能较大，需要调的参数多了一个，但是在一些复杂的问题上，一般来说Adam的表现要远优于SGD。

参考资料：NYU《Deep Learning》2020