20211207原创教程-神经网络模型调参

1、模型验证

一般很少在神经网络里用交叉验证，只需要划分训练集和验证集即可。在下面的参数中可以设置验证集比例(validation_split)：

model = get_new_model(input_shape)
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(X_train_titanic, y_train_titanic, validation_split=0.3, epochs=10)

2、早停Early Stopping

选择一个验证集的指标进行检测，防止训练过度导致的过拟合。

monitor被监督的指标；patience允许指标连续几次不提升；verbose是否打印训练过程；restore_best_weights是否保存最优参数。

在fit里面加了callbacks这个参数。

from keras.callbacks import EarlyStopping

early_stopping_monitor = EarlyStopping(
    monitor="val_loss",
    min_delta=0,
    patience=3,
    verbose=1,
    mode="auto",
    baseline=None,
    restore_best_weights=True,
)

model = get_new_model(input_shape)
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(X_train_titanic, y_train_titanic, validation_split=0.3, epochs=50,
          callbacks=[early_stopping_monitor])

3、增加和回滚模型的复杂程度

有两种方法调整，一是隐层数量，二是节点数量。

4、学习率衰减

需要首先定义优化器，然后定义衰减方式。

#指数衰减
optimizer_ExpLR = torch.optim.SGD(net.parameters(), lr=0.1)
ExpLR = torch.optim.lr_scheduler.ExponentialLR(optimizer_ExpLR, gamma=0.98)

#固定步长衰减
optimizer_StepLR = torch.optim.SGD(net.parameters(), lr=0.1)
StepLR = torch.optim.lr_scheduler.StepLR(optimizer_StepLR, step_size=step_size, gamma=0.65)