深度学习常用优化器Optimizer

---

1. tf.train.GradientDescentOptimizer

   计算所有样本汇总误差，然后根据总误差来更新权值。

2. tf.train.MomentumOptimizer

   给定一个动量，让优化器下降时带一个加速度，下降速度变快。

   
   

3. tf.train.AdagradOptimizer

   动态改变学习速率，提高下降速度。

   
   

4. tf.train.RMSPropOptimizer

   在Adagard算法中引入Momentum算法中的加速度

   
   

5. tf.train.AdamOptimizer

   目前用得最广的优化算法，它结合了Adagard和Momentum的优点，相当于给优化器加速度的同时限制一个范围。

   
   
   

   各优化器动态效果如下：

   
   
   Optimizer.gif