Adam如何自适应学习率的？

Adam是如何做到自适应学习率的？

• 优化算法统一公式

  • 待优化参数：$w_t$​;
  • 优化目标：$f(w_t)$;
  • 当前参数梯度：$g_t=\nabla f(w_t)$;
  • 一阶动量和二阶动量：${\eta }_t=\alpha \cdot m_t/\sqrt{v_t}$​；
  • 统一的更新公式为：$w_{t+1}=w_t-{\eta }_t$；​​

• Adam时如何自适应调整学习率的？

  • 首先，介绍SGD和带动量的SGD。SGD的更新公式如下：$w_{t+1}=w_t-\alpha \cdot g_t$​，相当于$m_t=g_t$​，$v_t=I^2$​。但由于其更新只依赖于当前的数据，使得其难以跳出局部最优。为利用历史的更新方向的趋势，使得其更新方向按照历史的 趋势进行，命$m_t={\beta }_1\cdot m_{t-1}+(1-{\beta }_1)g_t$​，这样有${\beta }_1$​比例的方向由历史方向决定，因此$w_{t+1}=w_t-\alpha \cdot m_t$​；

  • 使用SGD更新参数时，其参数的学习率是对于每一个$g_t$都是相同的，即无论$g_t$中的内容是大还是小，都是采用同样的步长进行更新，但我们希望对经常更新的参数不至于被单个样本影响太大，希望学习缓慢一些，对于偶尔更新的参数，模型了解的信息太少，希望梯度小的学习率大一些，以便于我们能够从少量信息中获取到信息。因此，引入二阶动量$v_t={\sum }_{\tau =1}^t{g}_t^2$，将其作为学习率$\alpha$的分母，可以动态调整学习率的大小，得到新的学习率$\alpha /\sqrt{v_t+ϵ}$，更新频率越大的则学习率越小，更新频率越小的，学习率越大。引入二阶动量的梯度更新法则之后，$v_t$可能很快就累积到很大。借鉴$m_t$利用当前时间端前一段时间的梯度信息，使用指数滑动平均，得到$v_t={\beta }_1\cdot v_{t-1}+(1-{\beta }_1)g_t^2$，因此最终引入二阶动量的参数更新公式为：$w_{t+1}=w_t-\alpha \cdot g_t/\sqrt{v_t+ϵ}$;​

  • 结合两个动量的更新就是Adam算法了：$w_{t+1}=w_t-\alpha \cdot m_t/\sqrt{v_t+ϵ}$​；

    从上述可以看出，Adam自适应调整学习率是从二阶动量$v_t$上进行的，目的是为了避免经常更新的参数被单个异常样本影响，同时能够学习到出现较少的样本信息。

参考：

• 深度学习优化算法，从SGD到AdamW原理和代码解读

• 一个框架看懂优化算法之异同 SGD/AdaGrad/Adam