每日一问06——常用的优化器（Optimizer）有哪些？该如何选择？

每日一问06

Question：常用的优化器（Optimizer）有哪些？该如何选择？

---

优化器如何选择？

• 对于稀疏数据，尽量选用学习率可自适应的算法，比用手动调节，而且最好采用默认参数。
• SGD通常训练时间最长，但是在好的初始化和学习率调度方案下，结果往往更可靠，但是SGD容易困在鞍点，这个缺点也不能忽略。
• 如果在意收敛速度，并且需要训练比较深比较复杂的网络时，推荐使用学习率自适应的算法。
• AdaGrad、AdaDelta和RMSProp是比较相近的算法，表现都差不多。
• 在能使用带动量的RMSProp和Adam的地方，使用Adam往往能取得更好的效果。