Training注意事项

1.

lr_rate = tf.train.exponential_decay(learning_rate, global_step, 4000, 0.96, staircase=True)
optimizer = tf.train.MomentumOptimizer(learning_rate=lr_rate, momentum=0.95, use_nesterov=True)
train_op = optimizer.minimize(loss, global_step=global_step)

运用指数下降+动量形式的优化方式有时候不一定是最好的，
那么我们一般在训练的时候最好先用Adam优化器进行训练，
当我们了解了Adam大致能达到的最佳效果后再使用例如 随机梯度下降、动量等方式进行优化，
同时应注意的是 一般来说Adam的效果不是最佳的，但是却是最快的，假设Adam训练的验证精度能达到85%，那么梯度下降和动量等都可以达到比85%更加的效果。

2.

如果是实在确定不了学习率，
可以先用Adam优化器训练，
训练到一定准确率后中断训练再以较小的学习率使用SGD训练。

3.

学习率与loss之间的关系

图片源自：https://towardsdatascience.com/understanding-learning-rates-and-how-it-improves-performance-in-deep-learning-d0d4059c1c10