keras callbacks 保存最好模型，防止过拟合的方法

不管是Tensorboard还是保存最好的模型,都需要用到Keras的一个重要模块: keras.callbacks

比如Tensorboard是:

from keras.callback import Tensorboad

keras.callbacks在model.fit中发挥作用,写法是:

from keras.callbacks import Tensorboard
......
tensorboard = Tensorboard(log_dir='log(就是你想存事件的文件夹)')
callback_lists = [tensorboard]  #因为callback是list型,必须转化为list
model.fit(x_train,y_train,bach_size=batch_size,epochs=epoch,shuffle='True',verbose='True',callbacks=callback_lists)

效果如下:

图片.png

图片.png

图片.png

图片.png

似乎有点跑题了,也算是自己的一个复习, keras保存最好的模型也用到keras.callbacks,用法如下: ModelCheckpoint

from keras.callbacks import ModelCheckpoint

checkpoint = ModelCheckpoint(filepath=file_name(就是你准备存放最好模型的地方), 
monitor='val_acc'(或者换成你想监视的值,比如acc,loss,
val_loss,其他值应该也可以,还没有试),
verbose=1(如果你喜欢进度条,那就选1,如果喜欢清爽的就选0,verbose=冗余的),
save_best_only='True'(只保存最好的模型,也可以都保存),
mode='auto'(如果监视器monitor选val_acc, mode就选'max',如果monitor选acc,mode也可以选'max',如果monitor选loss,mode就选'min'),一般情况下选'auto',
period=1(checkpoints之间间隔的epoch数))

所有参数的设置:
参数

filename：字符串，保存模型的路径

monitor：需要监视的值

verbose：信息展示模式，0或1

save_best_only：当设置为True时，将只保存在验证集上性能最好的模型

mode：‘auto’，‘min’，‘max’之一，在save_best_only=True时决定性能最佳模型的评判准则，
例如，当监测值为val_acc时，模式应为max，
当检测值为val_loss时，模式应为min。在auto模式下，评价准则由被监测值的名字自动推断。

save_weights_only：若设置为True，则只保存模型权重，否则将保存整个模型（包括模型结构，配置信息等）

period：CheckPoint之间的间隔的epoch数

keras.callbacks.ModelCheckpoint(filepath, monitor='val_loss', verbose=0, save_best_only=False, save_weights_only=False, mode='auto', period=1)

既然Tensorboard和ModelCheckpoint都属于keras.callbacks类,那我们把它们写到一起吧.

from keras.callbacks import Tensorboad
from keras.callbacks import ModelCheckpoint
.....
tensorboad = Tensorboard(log_dir='log')
checkpoint = ModelCheckpoint(filepath='file_name',monitor='val_acc',mode='auto' ,save_best_only='True')

callback_lists=[tensorboard,checkpoint]
......
model.fit(x_train,y_train,batch_size=batch_size,epochs=epochs,validation_split=0.33,shuffle=1,verbose=1,callbacks=callback_lists)

这样即保存了模型,也可以在tensorboard中可视化

怎么再次使用模型

再次使用模型的时候,需要调用

from keras.models import save_model(load_mode)
......
model = load_model('best_weights.h5')
loss,acc = model.evaluate(x_test,y_test,batch_size=batch_size,verbose=0)

print('test_loss',loss,'test_accuracy',acc)

这个callbacks感觉很有用,
ReduceLROnPlateau

keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=10, verbose=0, mode='auto', epsilon=0.0001, cooldown=0, min_lr=0)

当评价指标不在提升时，减少学习率

当学习停滞时，减少2倍或10倍的学习率常常能获得较好的效果。该回调函数检测指标的情况，如果在patience个epoch中看不到模型性能提升，则减少学习率(是不是很棒!)

参数

monitor：被监测的量
factor：每次减少学习率的因子，学习率将以lr = lr*factor的形式被减少
patience：当patience个epoch过去而模型性能不提升时，学习率减少的动作会被触发
mode：‘auto’，‘min’，‘max’之一，在min模式下，如果检测值触发学习率减少。在max模式下，当检测值不再上升则触发学习率减少。
epsilon：阈值，用来确定是否进入检测值的“平原区”
cooldown：学习率减少后，会经过cooldown个epoch才重新进行正常操作
min_lr：学习率的下限

自己做了个实验,第一次没有加学习率衰减:
('test cost: ', 0.048738605592446402, 'test accuracy: ', 0.98580000000000001)
加学习率衰减以后,赞!
('test cost: ', 0.045308484263112771, 'test accuracy: ', 0.98819999999999997)

作者：苟且偷生小屁屁
链接：https://www.jianshu.com/p/0711f9e54dd2
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。