transformers tokenizer.encode_plus() 的padding=True踩的坑

简略总结:

当做单句子任务时,padding=True是错误的,它不会做padding。而pad_to_max_length=True的效果和padding = 'max_length'是等价的。但是pad_to_max_length=True会报warning,提示将在后续版本中移除,建议使用padding = 'max_length'

转载:transformers tokenizer.encode_plus() 的padding=True踩的坑 - 知乎 (zhihu.com)

你可能感兴趣的:(学习记录,html,前端)