59.网络训练中的超参调整策略—学习率调整1

• 学习率可以说是模型训练最为重要的超参数。
  • 通常情况下，一个或者一组优秀的学习率既能加速模型的训练，又能得到一个较优甚至最优的精度。
  • 过大或者过小的学习率会直接影响到模型的收敛。
• 当模型训练到一定程度的时候，损失将不再减少，这时候模型的一阶梯度接近零，对应Hessian 矩阵通常是两种情况
  • 一、正定，即所有特征值均为正，此时通常可以得到一个局部极小值，若这个局部极小值接近全局最小则模型已经能得到不错的性能了，但若差距很大，则模型性能还有待于提升，通常情况下后者在训练初最常见。
  • 二，特征值有正有负，此时模型很可能陷入了鞍点，若陷入鞍点，模型性能表现就很差。以上两种情况在训练初期以及中期，此时若仍然以固定的学习率，会使模型陷入左右来回的震荡或者鞍点，无法继续优化。
• 所以，学习率衰减或者增大能帮助模型有效的减少震荡或者逃离鞍点。
• 通常情况下，大部分学习率调整策略都是衰减学习率，但有时若增大学习率也同样起到奇效。这里结合TensorFlow的内置方法来举例。

1、exponential_decay和natural_exp_decay

exponential_decay(learning_rate, global_step, decay_steps