深度学习最全优化方法总结

Adam算法：

原理：

$m$与$v$分别为梯度$g$的一阶矩和二阶矩估计，$E(m)=E(g),E(v)=E(g^2),$

算法优点：

1. 结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点
2. 对内存需求较小 ，计算量较小
3. 为不同的参数计算不同的自适应学习率
4. 也适用于大多非凸优化 - 适用于大数据集和高维空间

参考网站：

An overview of gradient descent optimization algorithms

Adam优化算法

深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）