Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

论文来源：ACL2022

论文地址：https://arxiv.org/pdf/2108.02035.pdfhttps://arxiv.org/pdf/2108.02035.pdf 论文代码：https://github.com/thunlp/KnowledgeablePromptTuninghttps://github.com/thunlp/KnowledgeablePromptTuning

---

 Abstract

        先前的研究表明，在低数据场景下，提示调优相比带有额外分类器的通用微调方法具有显著优势。提示调优的核心方法是将文本片段（模板）插入到输入中，将分类问题转化为掩码语言建模问题。其中一个关键的步骤是在标签集合和标签词之间做一个映射，或者叫做verbalizer。语言表达器通常是手工构建的或通过梯度下降搜索的，这可能不容易收敛，并给结果带来相当大的偏差和高方差。在这项工作中，本文将外部知识融入到语言表达器中，形成一个知识型的提示调优(knowledgeable prompt-tuning, KPT)，以改进和稳定提示调优。具体地说，使用外部知识库(KBs)扩充表达器的标签词空间，并在使用扩展后的标签词空间进行预测之前，使用PLM改进了扩展的标签词空间。在零镜头和少镜头文本分类任务上的大量实验证明了有知识的提示调优的有效性。

Introduction 

        使用提示的一种典型方法是将输入语句包装到自然语言模板中，并使预训练语言模型PLM进行掩码语言建模。现有的大部分工作是使用人工构建的语言表达器，设计者手动提出一个单词来表示一个类。为了减轻人工构建成本，一些工作提出使用离散搜索或者梯度下降的语言表达器。但是由于缺乏先验知识，从零开始学习的语言表达器仍然落后于人工构建的表达器，尤其是在小样本设置下，甚至不适用于零样本设置，因此人工构建的语言表达器在很多情况下是一个不错的选择。

        然而，手动构建的语言表达器通常根据有限的信息来预测。在推理过程中，手工构建的一对一映射限制了标签词的覆盖范围，因此缺乏足够的信息进行预测，并向语言表达器引入偏差，因此，手工构建的语言表达器在标签词的语义对预测至关重要的文本分类任务中很难达到最佳。

        基于优化的扩展，虽然可以与手工构建的表达器相结合以产生更好的性能，但是只会引入几个单词或嵌入，这些单词或嵌入在词义或嵌入距离方面与类名接近，因此很难跨粒度推断单词。

        为了提高人工构建的语言表达器的覆盖率，减少偏差，本文提出了在语言表达器中加入外部知识以促进提示调优，即知识提示调优（KPT）。KPT包含3个步骤：（1）在构建阶段，使用外部知识库为每个标签生成一组标签词。其中，扩展的标签词不仅仅是同义词，而是涵盖了不用粒度和角度，因此更加全面、公正。（2）为了解决无监督扩展标签词的噪声问题，提出四种细化方法：频率细化、相关性细化、上下文校正和可学习细化。（3）最后，应用损失函数将标签词得分映射到标签得分。