Caffe学习笔记(2)优化算法的选择

优化算法的选择

参考:
1、http://blog.csdn.net/u014595019/article/details/52989301
caffe中的优化算法有以下六中可选项,他们分别是
  1. SGD
  2. AdaDelta
  3. AdaGrad
  4. Adam
  5. Nesterov
  6. RMSProp

1、SGD

SGD全名 stochastic gradient descent, 即随机梯度下降。
不过这里的SGD其实跟MBGD(minibatch gradient descent)是一个意思,即随机抽取一批样本,以此为根据来更新参数.

4、Adam(貌似说是比较不错的方式,推荐使用)

参考自:http://www.sohu.com/a/156495506_465975
Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法,它能基于训练数据迭代地更新神经网络权重。Adam 最开始是由 OpenAI 的 Diederik Kingma 和多伦多大学的 Jimmy Ba 在提交到 2015 年 ICLR 论文(Adam: A Method for Stochastic Optimization)中提出的。

------------------------持续待更新------------------------

你可能感兴趣的:(Caffe)