【TensorFlow】优化方法optimizer总结(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam)解析(十三)
本文仅对一些常见的优化方法进行直观介绍和简单的比较,主要是一阶的梯度法,包括SGD,Momentum,NesterovMomentum,AdaGrad,RMSProp,Adam。其中SGD,Momentum,NesterovMomentum是手动指定学习速率的,而后面的AdaGrad,RMSProp,Adam,就能够自动调节学习速率。1、SGDSGD全名stochasticgradientdesc