tf.keras.optimizers 常用的优化器

SGD

tf.keras.optimizers.SGD(lr=0.01, momentum=0.0, decay=0.0, nesterov=False)

随机梯度下降法，支持动量参数，支持学习衰减率，支持Nesterov动量

• lr：大或等于0的浮点数，学习率

• momentum：大或等于0的浮点数，动量参数

• decay：大或等于0的浮点数，每次更新后的学习率衰减值

• nesterov：布尔值，确定是否使用Nesterov动量

RMSprop 

tf.keras.optimizers.RMSprop(lr=0.001, rho=0.9, epsilon=1e-06)

除学习率可调整外，建议保持优化器的其他默认参数不变

该优化器通常是面对递归神经网络时的一个良好选择

• lr：大或等于0的浮点数，学习率

• rho：大或等于0的浮点数

• epsilon：大或等于0的小浮点数，防止除0错误