[pytorch] pytorch lr scheduler汇总

pytorch scheduler汇总_AI大魔王的博客-CSDN博客_pytorch scheduler

学习率预热(transformers.get_linear_schedule_with_warmup)_orangerfun的博客-CSDN博客_get_linear_schedule_with_warmup

get_linear_schedule_with_warmup参数说明：
optimizer： 优化器
num_warmup_steps：初始预热步数
num_training_steps：整个训练过程的总步数

get_linear_schedule_with_warmup是learning rate线性增加和线性衰减，也有非线性的，如下定义了不同类型的warmup策略：
 

def train(trainset, evalset, model, tokenizer, model_dir, lr, epochs, device):
    optimizer = AdamW(model.parameters(), lr=lr)
    batch_size = 3
    # 每一个epoch中有多少个step可以根据len(