机器学习笔记:学习率预热 warmup

1 学习率预热介绍

  • 在mini-batch 梯度下降方法中,如果batch比较大的话,通常需要比较大的学习率
  • 但在一开始的训练中,由于参数是随机初始化的,所以此时的梯度往往也很大
    • 如果此时学习率也很大的话,训练将变得很不稳定
  • ——>为了提高训练的稳定性,我们在最初几轮迭代时,采用较小的学习率,等梯度下降到一定程度之后,再恢复到初始的学习率
    • 这种方法称为学习率预热 learning rate warmup
    • 当预热过程结束的时候,再选择一种学习率衰减的方式来降低学习率

2 逐渐预热 gradual warmup

一种常见的方法是逐渐预热。假设预热的迭代次数为T‘,初始学习率为α0,那么在预热的过程中,每次更新的学习率为

\alpha_t'=\frac{t}{T'}\alpha_0, 1\le t \le T'

你可能感兴趣的:(机器学习,机器学习,学习,人工智能)