GPT3中的Prompt

1、语言模型(language model):一个单词序列的概率分布。即想办法找到一个概率分布,可以表示任意一个句子或序列出现的概率。

2、Prompt: Prompting是指在文本上附加额外的提示(Prompt)信息作为输入,将下游的预测等任务转化为语言模型任务。

以二分类的情感分析为例,给定一个句子[CLS] I love this movie. [SEP]传统的Fine-tuning方法是将其通过Bert的Transformer获得[CLS]表征之后再喂入新增加的MLP分类器进行二分类,预测该句子是positive还是negative,因此需要一定量的训练数据来训练。

而对于Prompting范式分为三步:

  1. 在句子上添加prompt。一般来说,prompt分为两种形式,分别是完型填空(用于BERT等自编码PLM)与前缀(用于GPT等自回归PLM)。即: 完型填空:I love this movie.It is a [MASK] movie. 前缀: I love this movie.The movie is.
  2. 根据Prompt的形式,在[MASK]位置或Prompt前缀的后面预测单词。
  3. 根据预先定义的Verbalizer将单词转化为预测结果,若预测单词’Good’则情感倾向为正向,若预测结果为单词’Bad’则情感倾向为负向。

参考链接:

一文了解Prompt的基本知识与经典工作 - 知乎

Prompt-Tuning——深度解读一种新的微调范式_华师数据学院·王嘉宁的博客-CSDN博客

你可能感兴趣的:(gpt-3,深度学习)