【创作赢红包】Prompt Learning的基本思想和常用方法

• 个人主页: 同学来啦
• 版权: 本文由【同学来啦】原创、在CSDN首发、需要转载请联系博主
• 如果文章对你有帮助，欢迎关注、点赞、收藏和订阅专栏哦

一、基本思想

1、本质

Prompt Learning（中文含义：提示学习）通过将所有下游任务统一成预训练任务；以特定的模板将下游任务的数据转成自然语言形式，充分挖掘预训练模型本身的能力。其本质上是设计一个比较契合上游预训练任务的模板，通过模板的设计就是挖掘出上游预训练模型的潜力，让上游的预训练模型在尽量不需要标注数据的情况下比较好的完成下游的任务。主要包括以下步骤：

• 设计预训练语言模型的任务；
• 设计输入模板样式(Prompt Engineering)；
• 设计Label样式及模型的输出映射到Label 的方式(Answer Engineering)。

2、表现形式

Prompt Learning通过增加提示模板，将训练数据转成自然语言的形式，并在合适的位置 MASK，以此激发预训练模型的能力。通过构建提示学习样本，只需要少量数据的 Prompt Tuning，就可以实现很好的效果，具有较强的零样本/少样本学习能力。

二、常用方法

1、硬模板

1.1 PET

PET（Pattern Exploiting Training，模式开发训练） 作为一种经典的提示学习方法，将问题建模成一个完形填空问题，再优化最终输出词。相比于传统的 Fine-tuning 方法， PET 对模型数据量需求更少，适应性更强。

1.2 LM-BFF

LM-BFF 方法是在 Prompt Tuning 基础上，提出了Prompt Tuning with demonstration & Auto Prompt Generation。

2、软模板

2.1 P-Tuning

P-Tuning 方法无需设计或搜索硬模板，通过在输入端直接插入若干可被优化的离散输入 Pseudo Prompt Tokens，自动化地寻找连续空间中的知识模板。其具有以下特点：

• 不再依赖人工设计；
• 需要优化的参数极少，有效避免过拟合现象。
  

2.2 Prefix-Tuning

相比于 P-tuning 更新 prompt token embedding 的方法，能够优化的参数较少。Prefix tuning 希望能够优化更多的参数，提升效果，但是又不带来过大的负担。虽然prefix tuning是在生成任务上被提出来的，但是它对soft prompt后续发展有着启发性的影响。

2.3 Soft Prompt Tuning

Soft Prompt Tuning 系统后验证了软模板方法的有效性，并提出：固定基础模型，有效利用任务特定的 Soft Prompt Token，可以大幅减少资源占用，达到大模型的通用性。