模型训练后期学习率调整策略

虽然Adam等优化器能自适应调整学习率，但是到了模型训练后期仍需要手动调整学习率来提高模型性能，降低vall_loss值。

以keras为例，keras提供了两种学习率调整策略，可以通过回调函数实现。

1. LearningRateScheduler

keras.callbacks.LearningRateScheduler(schedule)

该回调函数是学习率调度器。

参数

• schedule: 该函数以eopch为监测量（从0算起的整数），返回一个新的学习率（浮点数）

代码

import keras.backend as K
from keras.callbacks import LearningRateScheduler
 
def scheduler(epoch):
    # 每隔20个epoch，学习率减小为原来的1/2
    if epoch % 20 == 0 and epoch != 0:
        lr = K.get_value(model.optimizer.lr)
        K.set_value(model.optimizer.lr, lr * 0.5)
        print("lr changed to {}".format(lr * 0.5))
    return K.get_value(model.optimizer.lr)
 
reduce_lr = LearningRateScheduler(scheduler)
model.fit(train_x, train_y, batch_size=32, epochs=300, callbacks=[reduce_lr])

def step_decay(epoch):
    initial_lrate = 0.001
    drop = 0.1
    epochs_drop = 5000.0
    lrate = initial_lrate * math.pow(drop,math.floor((1+epoch)/epochs_drop))
    return lrate

reduce_lr = LearningRateScheduler(step_decay)
model.fit(train_x, train_y, batch_size=32, epochs=300, callbacks=[reduce_lr]) 

2. ReduceLROnPlateau

keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=20, verbose=0, mode='auto', epsilon=0.0001, cooldown=0, min_lr=0)

该回调函数作用：如果在patience个epoch中看不到模型性能提升，则减少学习率。当学习停滞时，减少2倍或10倍的学习率常常能使val_loss值进一步下降。

参数

• monitor：被监测的量
• factor：每次减少学习率的因子，学习率将以lr = lr*factor的形式被减少
• patience：当patience个epoch过去而模型性能不提升时，学习率减少的动作会被触发
• mode：‘auto’，‘min’，‘max’之一，在min模式下，如果检测值触发学习率减少。在max模式下，当检测值不再上升则触发学习率减少。
• epsilon：阈值，用来确定是否进入检测值的“平原区”
• cooldown：学习率减少后，会经过cooldown个epoch才重新进行正常操作
• min_lr：学习率的下限

代码

from keras.callbacks import ReduceLROnPlateau
reduce_lr = ReduceLROnPlateau(monitor='val_loss', patience=20, mode='auto')
model.fit(train_x, train_y, batch_size=16, epochs=10000, validation_split=0.2, callbacks=[reduce_lr])