ACL2022 | Meta AI提出prompt-free的NLP小样本学习框架,效果超越prompt

每天给你送来NLP技术干货!


来自:圆圆的算法笔记

ACL2022 | Meta AI提出prompt-free的NLP小样本学习框架,效果超越prompt_第1张图片

现阶段在NLP领域解决few-shot learning最火的方法就是prompt了。Prompt通过设计特定任务的具体模板,以及如何将预测结果映射到对应label,基于预训练语言模型给出预测结果。即使样本量很少,甚至没有样本,也能取得比较好的效果。

然而,基于prompt的few-shot learning方法的问题在于,需要人工针对不同任务设计将输入转化为prompt模板的方法,以及将预测结果映射到label的方法。并且之前的研究也表明,这种方法的效果对于prompt的设计或者label映射的方法选择非常敏感,即使模板中一个单词的变化,也会带来效果的大幅波动。

ACL2022 | Meta AI提出prompt-free的NLP小样本学习框架,效果超越prompt_第2张图片

ACL 2022 Meta AI发表了一篇文章PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models,提出在few-shot learning场景下,不需要依赖prompt模板和verbalizer的设计,也能达到优异效果的方法,并且finetune的效率也很高。这种方法比较适合样本量不是特别少(比如只有几个样本或者没有样本)的few-shot learning场景。

推荐阅读:

NLP Prompt系列——Prompt Engineering方法详细梳理

NLP中的绿色Finetune方法

最新NLP Prompt代表工作梳理!ACL 2022 Prompt方向论文解析

1

Adapter Layer

PERFECT采用了adapter-finetune的思路,下面首先让我们回顾一下adapter-finetune的原理。Adapter-finetune是在Parameter-Efficient Transfer Learning for NLP(ICML 2019)这篇文章中提出的,是一种更轻量级的迁移学习方法,只需要finetune少量参数就能达到和finetune整个模型不相上下的效果。

具体做法为,在原来的Bert模型的每层中间加入两个adapter。Adapter通过全连接对原输入进行降维进一步缩小参数量,经过内部的NN后再将维度还原,形成一种bottleneck的结构。在finetune过程中,原预训练Bert模型的参数freeze住不更新,只更新adapter的参数,大大减少了finetune阶段需要更新和保存的参数量。

ACL2022 | Meta AI提出prompt-free的NLP小样本学习框架,效果超越prompt_第3张图片

2

PERFECT核心结构

PERFECT模型的核心结构如下图所示。主要包括Pattern-Free Task Description、Multi-Token Label Embeddings两个部分。

Pattern-Free Task Description对应的是传统Prompt方法中的模板设计。PERFECT中不再对输入进行人工的模板设计,而是直接使用每个task独有的adapter layer,让adapter layer自动学习每个任务的隐含task描述。这种方法相比原来的人工设计prompt方法,可以减少对人工设计的依赖,相比对prompt的设计比较敏感,这种方法更稳定。在训练过程中会freeze住语言模型其他参数,只finetune adapter部分,资源开销占用也比较小。

Multi-Token Label Embeddings对应着传统Prompt方法中的verbalizer设计部分。核心做法是:每个输入后面接多个[MASK],每个[MASK]都做一遍多分类任务。这里首先定义了label embedding,它是一个K*M*H的张量,其中K表示类别的数量,M表示每个类别要使用多少个token表示,H表示每个label embedding的维度。这个label embedding起到了替代传统prompt中verbalizer的作用。每个label对应M个向量表示,对应着输入后面添加的多个M个[MASK]。

为了训练这些label embedding,PERFECT将输入文本后面拼接M个[MASK] token,经过Transformer后,每个[MASK] token得到一个隐状态表示。每个[MASK] token的隐状态表示和对应位置的label embedding计算内积,得到每个token计算出的K分类结果。最后通过Hinge Loss计算每个位置token对每个label的打分和真实label的差异。

ACL2022 | Meta AI提出prompt-free的NLP小样本学习框架,效果超越prompt_第4张图片

在Inference阶段,采用的是比较当前样本表示和训练数据中各个label样本平均表示的方法,融合多个位置的[MASK] token得到最终分类结果。对于一个样本,模型会产出M个[MASK] token,计算每个[MASK] token产出的embedding,和某个label所有训练样本在这个位置上的[MASK] token平均embedding的相似度,作为衡量当前样本在当前位置和这个label距离。最后融合各个位置的结果得到最终label。这个过程可以表示为如下公式,其中hi表示当前样本在i位置[MASK] token的表示,ciy表示训练数据中所有label=y的样本在i位置[MASK] token的平均表示:

ACL2022 | Meta AI提出prompt-free的NLP小样本学习框架,效果超越prompt_第5张图片

3

对比模型介绍—PET

本文实验中主要对比的模型是PET,是目前基于prompt的few-shot learning的SOTA方法。出自论文Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference(2021)。下面对PET进行一个简单介绍,也方便和本文的方法进行对比。

PET采用知识蒸馏的方法对不同prompts进行融合。在构造多个prompts后,使用每个prompt分别finetune一个模型,然后用不同prompts finetune的模型给数据打一个soft label的多模型融合结果,用这个soft label去学习一个下游模型,就是知识蒸馏的思想。为了让不同prompts模型有信息交互,会进行多轮finetune,每个模型每轮时候的数据,都会增加上一轮其他模型(随机采样几个)在无标签数据上的预测结果。随着finetune轮数增加,每个模型的训练数据集越来越大,融入了越来越多其他模型的打分结果。该方法的多轮finetune的示意图如下,每个M是用每个prompt finetune得到模型,T代表每个模型finetune时使用的数据集。

ACL2022 | Meta AI提出prompt-free的NLP小样本学习框架,效果超越prompt_第6张图片

4

实验结果

下表展示了在多个数据集PERFECT模型相比基础的Finetune方法,以及基于Prompt的SOTA方法PET的效果对比,PERFECT在多个数据集上都取得最优效果。

ACL2022 | Meta AI提出prompt-free的NLP小样本学习框架,效果超越prompt_第7张图片

文中重点对Adapter Layer的效果进行了对比实验。下表中第一列是平均效果,第二列是最差效果,第三列是标准差。在PET中,将人工设计的prompt替换成Adapter Layer,效果会有一定提升。如果去掉PERFECT中的adapters,效果会出现比较明显的下降,特别是最差效果会显著下降。这表明。使用Adapter Layer可以很好的提升模型稳定性。

ACL2022 | Meta AI提出prompt-free的NLP小样本学习框架,效果超越prompt_第8张图片

5

总结

通过本文,可以看出目前NLP中few-shot learning的两种不同思路。基于Prompt的思路,依赖人工设计模板、答案和label的映射关系;本文提出PERFECT,采用隐式学习的方式,不依赖人工设计模板,可以提升模型稳定性。对于有一定数量训练数据的场景中,可以取得比较好的效果。

你可能感兴趣的:(算法,大数据,编程语言,python,机器学习)