Adam优化算法

Adam Optimization Algorithm.

Adam refer to Adaptive Moment estimation.

要看懂这篇博文，你需要先看懂：

• 指数加权平均
• 使用动量的梯度下降法
• RMSprop

整理并翻译自吴恩达深度学习系列视频：
https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001701052&cid=2001694315

RMSprop and the Adam optimization algorithm, is one of those rare algorithms that has really stood up, and has been shown to work well across a wide range of deep learning architectures.
And the Adam optimization algorithm is basically taking momentum and RMSprop and putting them together.

Adam优化算法

基本思想是把动量梯度下降和RMSprop放在一起使用。

算法描述

这个算法描述来自花书《deep learning》，与下面的计算公式不共享参数记号。

Adam优化算法计算方法

动量梯度下降部分：
$v_{dw}={\beta }_1{v}_{dw}+(1-{\beta }_1)dW$ 即指数加权平均，下同。
$v_{db}={\beta }_1{v}_{db}+(1-{\beta }_1)db$

RMSprop部分：
$S_{dw}={\beta }_2{S}_{dw}+(1-{\beta }_2)d{W}^2$<- element-wise 即平方版本的指数加权平均，下同
$S_{db}={\beta }_2{S}_{db}+(1-{\beta }_2)d{b}^2$ <- element-wise

起始bias修正：
$v_{dw}^{correct}=\frac{v_{dw}}{1-{\beta }_1^t}$
$v_{db}^{correct}=\frac{v_{db}}{1-{\beta }_1^t}$
$S_{dw}^{correct}=\frac{S_{dw}}{1-{\beta }_2^t}$
$S_{db}^{correct}=\frac{S_{db}}{1-{\beta }_2^t}$

更新parameter变成：
$W=W-\alpha \frac{v_{dw}^{correct}\ast dW}{\sqrt{S_{dw}^{correct}+ϵ}}$ 分子来自动量梯度下降 分母来自RMSprop 下同
$b=b-\alpha \frac{v_{db}^{correct}\ast db}{\sqrt{S_{db}^{correct}+ϵ}}$

解释说明

Adam = adaptive moment estimation，自适应性炬估计。
${\beta }_1$计算的是导数的均值(使用加权指数平均)。这称为第一炬(the first moment)。
${\beta }_2$计算的是平方版本的指数加权平均。这称为第二炬(the second moment)。

这是Adam名称的由来，大家一般称之为：Adam Authorization Algorithm(Adam权威算法)。

默认参数值选取

• $\alpha$
  学习速率是你需要是调参的。
• ${\beta }_1=0.9$
  -> $(dw)$ moving average, weighted average. momentum light term.
• ${\beta }_2=0.999$ -> $d{w}^2$
  -> $(d{w}^2)$ RMSprop term. 0.999出自Adam paper，即该算法提出者。
• $ϵ=10^{-8}$
  几乎没有人去调试这个值，大家都使用$10^{-8}$