「Deep Learning」Note on AMSGrad（比Adam好的优化算法）

QQ Group: 428014259
Tencent E-mail：[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/80370826

今时今日，SGD是训练深度网络的首选利器。后来，提出了一堆变种算法，比如，ADAGRAD，RMSPROP，ADAM，ADADELTA，NADM等。

####基于指数滑动平均（exponential moving averages）的自适应方法
1、基于简单平均函数的ADAGrad
平均策略为：${\varphi }_t(g_1,...,g_t)=g_t$，${\psi }_t(g_1,...,g_t)=\frac{diag({\sum }_{i=1}^t)}{g_i^2}$
2、基于指数滑动平均的方法
方法包括：RMSprop、Adam、NAdam和ADADELTA。
针对Adam，其采用的平均函数为${\varphi }_t(g_1,...,g_t)=(1-{\beta }_1){\sum }_{i=1}^t{\beta }_1^{t-i}{g}_i$，${\psi }_t(g_1,...,g_t)=(1-{\beta }_1)diag({\sum }_{i=1}^t{\beta }_2^{t-i}{g}_i^2)$。其中，${\beta }_1$和${\beta }_2$是我们熟知的两个超参数，通常分别取值为0.9和0.999。

[1] On the Convergence of Adam and Beyond 2018 [paper]