prompt与小样本

promp又叫做提示学习,主要利用BERT的MLM任务将任务形式改为模型预测任务。例如在情感任务中,我喜欢这部电影,我们可以将template 和样本一起输入模型变成,我喜欢这部电影,它是[mask],模型会选择合适的代替[mask],例如用完美、积极这些词进行代替。正是有了Prompt的学习范式,可以充分开发预训练语言模型,GTP3模型在few shot 甚至zero shot取得很好的成果

你可能感兴趣的:(python,人工智能)