参考书目:陈允杰.TensorFlow与Keras——Python深度学习应用实战.北京:中国水利水电出版社,2021
本系列基本不讲数学原理,只从代码角度去让读者们利用最简洁的Python代码实现深度学习方法。
神经网络模型在具体训练过程中有很多技巧,针对不同问题,例如过拟合,欠拟合,梯度爆炸,运算过慢等等,都有各自处理的方法。下面一一介绍。
过拟合处理手段有三种,第一种是加惩罚项范数,又被成为权重衰减,L1和L2范数两者,例如搭建卷积层的时候:
model.add(Conv2D(32, kernel_size=(3, 3), padding="same",
input_shape=X_train.shape[1:], activation="relu",
kernel_regularizer=regularizers.l2(0.02),
bias_regularizer=regularizers.l2(0.02)))
kernel_regularizer=regularizers.l2(0.02)表示系数的惩罚。0.02表示惩罚力度,其他层也是一样。
第二种是增加dropout层,也叫丢包层,随机将神经网络里面的一部分神经元进行‘休眠’,即输出为0:
model.add(Dropout(0.25))
0.25表示丢包百分比。
第三种是早停机制,让神经网络训练周期变少就可以一定程度降低过拟合。后面再介绍Keras里面的早停机制如何便捷实现。
欠拟合就和过拟合反过来操作,不加权重衰减,减少丢包层,增加训练轮数等方法...
优化器也是有参数的,种类不一样也会导致训练时间和训练结果不一样。下面介绍怎么定义优化器。
# 编译模型
opt_sgd = optimizers.SGD(lr=0.05,decay=1e-6, momentum=.09)
opt_adam = optimizers.Adam(lr=0.001,decay=1e-6)
opt_rms = optimizers.RMSprop(lr=0.001,decay=1e-6)
model.compile(loss="categorical_crossentropy", optimizer=opt_sgd,metrics=["accuracy"])
在编译模型的时候去生成一个优化器的类,指定参数,然后放入。一般来说会选择Adma,综合来看Adma优化器最佳。
批量标准化的好处有:
1.加速神经网络收敛
2.可以使用更大的学习率,初始化权重也不那么重要
3.缓解梯度消失或者爆炸的问题。
标准化层在全连接(卷积层,循环层)层后,激活函数前,具体应该这样定义模型:
# 定义模型
#MLP层
model = Sequential()
model.add(Dense(11, input_dim=X_train.shape[1], use_bias=False))
model.add(BatchNormalization())
model.add(Activation("relu"))
model.add(Dense(11, use_bias=False))
model.add(BatchNormalization())
model.add(Activation("relu"))
model.add(Dense(1, activation="sigmoid"))
model.summary() #显示模型摘要信息
#或者卷积层
model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3), padding="same",
input_shape=X_train.shape[1:], use_bias=False))
model.add(BatchNormalization())
model.add(Activation("relu"))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(64, kernel_size=(3, 3), padding="same",
use_bias=False))
model.add(BatchNormalization())
model.add(Activation("relu"))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(512, activation="relu"))
model.add(Dropout(0.5))
model.add(Dense(10, activation="softmax"))
model.summary() # 显示模型摘要信息
在Keras里面主要是利用EarlyStopping实现,训练时候加入就行
# 训练模型
from keras.callbacks import EarlyStopping
# 建立 EarlyStopping 物件
es = EarlyStopping(monitor="val_loss", mode="min",
verbose=1,patience=5)
history = model.fit(X_train, Y_train, validation_split=0.2,
epochs=30, batch_size=10,
verbose=0, callbacks=[es])
monitor表示监控指标,mode表示评估有改进的标准,最大值或最小值。verbose=1表示可以显示训练停在哪个周期。patience=5表示可以达到标准后延迟5个周期停止。
如果使用精度作为监控指标的话,那么mode应该改为最大值:
from keras.callbacks import EarlyStopping
# 建立 EarlyStopping 物件
es = EarlyStopping(monitor="val_accuracy", mode="max",
verbose=1, patience=5)
history = model.fit(X_train, Y_train, validation_split=0.2,
epochs=50, batch_size=10,
verbose=0, callbacks=[es])
自动储存最优权重
# 训练模型
from keras.callbacks import ModelCheckpoint
# 建立 ModelCheckpoint 物件
mc = ModelCheckpoint("best_model.h5", monitor="val_accuracy",
mode="max", verbose=1,
save_best_only=True)
history = model.fit(X_train, Y_train, validation_split=0.2,
epochs=15, batch_size=10,
verbose=0, callbacks=[mc])
同时使用早停和自动储存
# 训练模型
from keras.callbacks import EarlyStopping
# 建立 EarlyStopping 物件
es = EarlyStopping(monitor="val_loss", mode="min",verbose=1)
from keras.callbacks import ModelCheckpoint
# 建立 ModelCheckpoint 物件
filename = "weights-{epoch:02d}-{val_accuracy:.2f}.h5"
mc = ModelCheckpoint(filename, monitor="val_acc", mode="max", verbose=1,
save_best_only=True)
history = model.fit(X_train, Y_train, validation_split=0.2, epochs=20, batch_size=10,
verbose=0, callbacks=[es, mc])