Callback--ModelCheckpoint

ModelCheckpoint

参数详解

参数名称	含义	默认值
dirpath	ckpt文件保存路径	None(使用Trainer的default_root_dir或weights_save_path，如果Trainer使用了logger，那么path将会包含logger的名字和版本)
filename	ckpt文件名(支持自动填充)	None({epoch}-{step})
monitor	要监视的指标(log()记录的指标)	None(保存最后一次epoch训练的结果)
save_last	是否保存最后一次epoch训练的结果（last.ckpt）	None(False)
save_top_k	保存前k个最佳模型，k=-1的保存所有模型,k=0将不会保存模型，文件名后面会追加版本号，从v1开始	1
save_weights_only	仅保存模型权重	False
mode	监视指标的最大值还是最小值.对于loss应使用min，对于accuracy应使用max	‘min’
auto_insert_metric_name	是否自动向文件名中插入monitior的值	True

使用注意

• 如果设置auto_insert_metric_name 为False，对于包含**/**的指标名，将会创建额外的文件夹
• checkpoint_callback.CHECKPOINT_NAME_LAST = "{epoch}-last"可以改变save_last的默认文件名

示范

class MyModel(pl.LightningModule):
    def __init__(self, in_dim, out_dim, lr=0.00005):
        super().__init__()
        self.net = nn.Linear(in_dim, out_dim)
        self.loss_fn = nn.MSELoss()
        self.lr = lr

    def forward(self, x):
        return self.net(x)

    def training_step(self, batch, batch_idx):
        X, y = batch
        y_hat = self(X)
        loss = self.loss_fn(y_hat, y)
        acc = (y_hat.argmax(1) == y).type(torch.float).sum()
        self.log('Train_accuracy', acc,
                 on_epoch=True, prog_bar=True, logger=True)
        return loss

    def validation_step(self, batch, batch_idx):
        X, y = batch
        y_hat = self(X)
        loss = self.loss_fn(y_hat, y)
        self.log('Val_loss', loss,
                 on_epoch=True, prog_bar=True, logger=True)
        return loss

    def configure_optimizers(self):
        return optim.SGD(self.net.parameters(), self.lr)

# 监视训练准确率，注意这里性能指标名字要与self.log中保持一致
ckpt_callback_train_acc = ModelCheckpoint(
    monitor='Train_accuracy', dirpath='my/path',
    filename='epoch{epoch:02d}-val_acc{Val_accuracy:.2f}',
    auto_insert_metric_name=False,
    save_last=True, save_weights_only=True, mode='max')
# 监视验证损失，注意这里性能指标名字要与self.log中保持一致
ckpt_callback_val_loss = ModelCheckpoint(
    monitor='Val_loss', dirpath='my/path', mode='min')

# 使用一个callback，可以不写成列表形式
trainer = pl.Trainer(callbacks=ckpt_callback_train_acc)
# 使用多个callbacks，传递callback列表
trainer = pl.Trainer(callbacks=[ckpt_callback_train_acc, ckpt_callback_val_loss])
# ....训练

self.log()用法