调度器scheduler保留什么参数
在 PyTorch 中，学习率调度器（scheduler）用于动态调整优化器的学习率。调度器的状态文件保存了在训练过程中与学习率调度相关的信息。具体来说，学习率调度器保留了以下类型的参数：
1. 当前学习率
- 调度器保存了当前的学习率值，这对恢复训练时继续使用相同的学习率非常重要。不同的调度器可能会以不同的方式存储这个值，但通常它是与优化器一起保存的。
2. 调度器的步数
- 调度器保存了已经进行的步数或周期数。这是用来确定调度器当前处于什么状态，以便在恢复训练时从上一次中断的地方继续调整学习率。
3. 学习率调度器的状态
- StepLR：保存当前的步数。
- ExponentialLR 和 CosineAnnealingLR 等：保存调度器的当前状态，这包括用于计算学习率变化的内部参数。
- ReduceLROnPlateau：保存监控的指标（例如验证损失）以及内部的状态，用于确定何时减少学习率。
4. 内部参数
- 一些调度器有额外的内部参数，例如：
- StepLR 和 MultiStepLR：保存每个步长的调整信息。
- CosineAnnealingLR：保存余弦退火周期的开始时间和状态。
- CyclicLR：保存周期的起始和结束状态。
5. 其他调度器特定的状态
- 例如，
ReduceLROnPlateau需要保存指标的最优值以及最近的评估值，以决定是否调整学习率。
示例
假设你使用了 StepLR 调度器，调度器保存的状态可能包括：
{
'last_epoch': 5, # 上一个已完成的 epoch
'base_lrs': [0.01], # 初始学习率
'step_size': 10, # 每隔多少步调整学习率
'gamma': 0.1 # 学习率衰减因子
}
对于 ReduceLROnPlateau，状态可能包括：
{
'last_epoch': 5, # 上一个已完成的 epoch
'best': 0.1, # 最佳验证损失
'mode': 'min', # 监控模式（'min' 或 'max'）
'factor': 0.1, # 学习率减少因子
'patience': 10, # 等待多少个 epoch 后减少学习率
'cooldown': 0, # 学习率减少后的冷却期
'verbose': False # 是否打印日志
}
总结
学习率调度器的状态文件包含了用于恢复训练时必要的所有信息，以确保学习率的调整可以从中断点继续。保存这些状态信息可以使训练过程更加稳定，并避免从头开始调整学习率。
示例
当然，下面是一个关于如何保存和恢复 PyTorch 学习率调度器状态的示例：
示例代码
假设我们正在训练一个简单的模型，并使用 StepLR 学习率调度器。在训练过程中，我们会保存模型和调度器的状态，并在恢复训练时重新加载它们。
1. 保存模型和调度器的状态
import torch
import torch.optim as optim
import torch.nn as nn
import torch.optim.lr_scheduler as lr_scheduler
# 创建模型和优化器
model = nn.Linear(10, 1)
optimizer = optim.SGD(model.parameters(), lr=0.1)
scheduler = lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1)
# 模拟训练过程
for epoch in range(20):
# 模拟一次训练
optimizer.step()
scheduler.step()
# 保存模型和调度器的状态
torch.save({
'epoch': epoch,
'model_state_dict': model.state_dict(),
'optimizer_state_dict': optimizer.state_dict(),
'scheduler_state_dict': scheduler.state_dict(),
}, 'checkpoint.pth')
2. 恢复模型和调度器的状态
import torch
import torch.optim as optim
import torch.nn as nn
import torch.optim.lr_scheduler as lr_scheduler
# 创建模型和优化器
model = nn.Linear(10, 1)
optimizer = optim.SGD(model.parameters(), lr=0.1)
scheduler = lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1)
# 加载保存的状态
checkpoint = torch.load('checkpoint.pth')
model.load_state_dict(checkpoint['model_state_dict'])
optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
scheduler.load_state_dict(checkpoint['scheduler_state_dict'])
# 恢复训练时的 epoch
epoch = checkpoint['epoch']
# 继续训练
for epoch in range(epoch, epoch + 20):
# 模拟一次训练
optimizer.step()
scheduler.step()
解释
-
保存状态
torch.save保存了模型、优化器和调度器的状态，包括学习率调度器的状态（如step_size和gamma）。scheduler.state_dict()保存了调度器的内部状态，比如当前的步数和其他参数。
-
恢复状态
torch.load加载了之前保存的状态字典。model.load_state_dict,optimizer.load_state_dict, 和scheduler.load_state_dict恢复了模型、优化器和调度器的状态。- 恢复后的调度器可以继续从之前的状态中调整学习率。
这样做可以确保在恢复训练时，调度器的学习率调整策略和状态保持一致，从而避免训练中断对学习率调整的影响。