提示学习-Prompt Learning

定义

        在不改变预训练语言模型结构和参数的情况下，通过向输入增加“提示信息”将下游任务改为文本生成任务。例如，输入“[CLS]待分类文本[SEP]本文的主题是[MASK][MASK][SEP]”，输出“[CLS]教育[SEP]”。简单来说，就是使用prompt方法去改造下游任务，使预训练模型可以完成此任务。

应用

关系抽取

        LAMA模型通过将关系抽取任务修改为填空题，在不修改预训练语言模型的情况下，得到了比知识库更好的关系抽取效果。具体做法为将（Dante, born in, where）这个三元组补全任务修改为补全句子“Dante was born in__”的完形填空任务。

文本分类

        AUTOPROMPT模型使用提示学习的方式来做文本分类、文本蕴含判断任务。在不对预训练语言模型进行任何改动的前提下，使用梯度搜索得到优质的提示模板，从而让预训练语言模型具有良好的文本分类能力。

关键

提示学习主要依赖以下方法：

1. 输入改造模板，给预训练语言模型“最合适”的提示
2. 标签词，让语言模型“最容易”预测到
3. 标签词与类别概率分布的转换方式，让语言模型输出与下游任务相对应

优缺点

        优点：提示学习充分利用了语言模型在学习大规模语料后得到的知识、模式以及文本生成能力，因此可以在训练数据很少甚至没有的情况下完成分类、阅读理解等任务。        

        缺点：提示学习框架结构复杂多变，实现难度较大，模板设计对领域知识和数据挖掘能力要求较高。