训练Bert、Robert、ALBert等的巨大坑

!!!
!!!
!!!
如下,我们在使用transformers包的get_linear_schedule_with_warmup()这个学习率预热API时,num_warmup_steps这个参数一定要设置为0,一定要设置为0,一定要设置为0!!!否则模型不会收敛(我在做中文文本语义匹配时发现的)

scheduler = get_linear_schedule_with_warmup(optimizer,
                                            num_warmup_steps=0,
                                            num_training_steps=total_step)

你可能感兴趣的:(pytorch,pytorch,自然语言处理)