Adam优化方法


整理动量梯度下降算法的时候,这一类大概有3种:

  1. 动量梯度下降
  2. RMSprop
  3. Adam 优化算法

这里主要记录一下这3个算法的优化过程


动量梯度下降




RMSprop





Adam 优化算法






t为迭代次数



t为迭代次数



你可能感兴趣的:(Adam优化方法)