随机优化算法Adam : RMSProp + Momentum

Adam（Adaptive momentum）是一种自适应动量的随机优化方法（A method for stochastic optimization），经常作为深度学习中的优化器算法。

针对的问题：高维参数空间的随机目标的优化问题。在这种情况下，高阶优化方法是不合适的（太复杂）。因此使用梯度优化更有效，同时也需要考虑噪声。

之前提出的一些典型的优化方法：如随机梯度下降（SGD），dropout正则化。 基于已有算法，提出一种更好的优化算法adam。此算法局限于一阶优化方法。

RMSProp

均方根传播（RMSProp）基于权重梯度最近量级的均值为每一个参数适应性地保留学习率。

Momentum 

容易理解，就是惯性

Adam: RMSProp + Momentum 算法详细步骤  

Adam 算法同时获得了 AdaGrad 和 RMSProp 算法的优点。

• Adam 不仅如 RMSProp 算法那样基于一阶矩均值计算适应性参数学习率，它同时还充分利用了梯度的二阶矩均值（即有偏方差/uncentered variance）。
• 算法计算了梯度的指数移动均值，超参数\beta_1 和\beta_2 控制了这些移动均值的衰减率。
• 移动均值的初始值和\beta_1、\beta_2值接近于 1（推荐值），因此矩估计的偏差接近于 0。该偏差通过首先计算带偏差的估计而后计算偏差修正后的估计而得到提升。