Keras的回调函数ReduceLROnPlateau优化学习率

目的：定义学习率之后，经过一定epoch迭代之后，模型效果不再提升，该学习率可能已经不再适应该模型。需要在训练过程中缩小学习率，进而提升模型。如何在训练过程中缩小学习率呢？我们可以使用keras中的回调函数ReduceLROnPlateau。与EarlyStopping配合使用，会非常方便。

初始的学习率过小，会需要非常多次的迭代才能使模型达到最优状态，训练缓慢。如果开始给一个大点打学习率，能够快速收敛，然后训练过程中不断缩小学习率，可以快速又精确的获得最优模型。

monitor：监测的值，可以是accuracy，val_loss,val_accuracy
factor：缩放学习率的值，学习率将以lr = lr*factor的形式被减少
patience：当patience个epoch过去而模型性能不提升时，学习率减少的动作会被触发
mode：‘auto’，‘min’，‘max’之一 默认‘auto’就行
epsilon：阈值，用来确定是否进入检测值的“平原区”
cooldown：学习率减少后，会经过cooldown个epoch才重新进行正常操作
min_lr：学习率最小值，能缩小到的下限
verbose：日志冗长度，int：冗长度，0：不输出训练过程，1：偶尔输出，>1：对每个子模型都输出。
 
Reduce=ReduceLROnPlateau(monitor='val_accuracy',
                         factor=0.1,
                         patience=2,
                         verbose=1,
                         mode='auto',
                         epsilon=0.0001,
                         cooldown=0,
                         min_lr=0)