论文笔记：KnowPrompt: Knowledge-aware Prompt-tuning withSynergistic Optimization for Relation Extraction

 论文来源：WWW 2022

论文地址：https://arxiv.org/pdf/2104.07650.pdfhttps://arxiv.org/pdf/2104.07650.pdf

论文代码：

https://github.com/zjunlp/KnowPrompthttps://github.com/zjunlp/KnowPromptChen X, Zhang N, Xie X, et al. Knowprompt: Knowledge-aware prompt-tuning with synergistic optimization for relation extraction[C]//Proceedings of the ACM Web Conference 2022. 2022: 2778-2788. 

---

Abstract

        近年来，提示调优在特定的少样本分类任务中取得了很好的效果。提示调优的核心思想是将模板插入到输入中，将分类任务转化为masked language modeling问题。但是在关系提取任务中，确定合适的提示模板需要专业知识，且获取合适的标签词既繁琐又耗时。此外，关系标签中存在不可忽视的丰富语义和先验知识。为此，本文将着重于将关系标签中的知识整合到提示调优进行关系提取，并提出具有协同优化的知识感知提示调优方法KnowPrompt。具体来说，本文将包含在关系标签中的潜在知识注入到具有可学习性的虚拟类型词和答案词的提示构造中，然后用结构化约束来协同优化其表示。

Introduction

        先前的自监督预训练语言模型在许多RE基准测试中取得了SOTA结果。但是，由于微调需要在PLMs的顶端添加额外的分类器，并在分类目标下进一步训练模型，因此它们的性能很大程度上取决于耗时耗力的大规模标注数据，并且很难很好的概括。提示调优涉及模板设计和表达器设计，旨在搜索最佳模板和答案空间。

        尽管针对文本分类的提示调优PLMs取得了成功，但是对于使用提示调优的RE来说，仍然存在以下几个挑战：（1）为RE确定合适的提示模板需要领域专业知识，用输入实体自动构建高性能提示通常需要额外的计算成本来生成和验证；（2）当关系标签的长度变化时，标签词搜索过程的计算复杂度非常高，在词汇表中找到一个合适的目标标签词来表示特定的关系标签是非常困难的；（3）关系标签之间存在着丰富的语义知识，关系三元组中存在的结构化知识是不可忽视的。如Figure 1 (b)和(c)，如果一对实体包含person和country的语义，则[MASK]对关系org:city_of_headquarters的预测概率就会降低，相反，这种关系也限制了主体和客体的类型。

创新点：将知识注入到可学习的提示中，并提出了一种新的知识感知提示调优和协同优化方法用于RE。利用可学习的虚拟答案词，通过注入语义知识来表示关系标签，并在实体周围分配了可学习的虚拟类型词来承担弱化的类型标记（TYPE MARKER）作用。利用可学习的虚拟类型词来根据上下文动态调整，而不是利用标注的实体类型。

Methodology

        本节将介绍本文所提出的知识感知提示调优与协同优化方法（KnowPrompt）以感知关系标签中包含的语义和先验知识，从而进行RE。KnowPrompt如Figure 2所示。

Prompt Construction with Knowledge Injection 

        一个典型的提示由模板和标签词两部分组成，因此，本文提出在RE任务中使用知识注入来构建虚拟类型词和虚拟标签词。

        实体知识注入：类型标记方法可以额外引入实体的类型信息以提高性能，但需要额外标注类型信息，这可能并不存在于标注数据集中。本文通过特定关系中包含的先验知识而非标注来获得潜在的实体类型的范围（不理解。是因为可以根据上下文进行调整吗？）。例如，给定关系“per: country_of_birth”，显然，此匹配此关系的主体属于“person”，客体属于“country”。直观来说，根据关系类别在潜在实体类型候选集和上估计先验分布和，其中先验分布由频率统计估计。        

        以表1列出了部分关系标签的候选集和为例，的先验分布可以计算为。因此，我们在实体周围分配虚拟类型词，这些虚拟类型词使用潜在实体类型集合的聚合嵌入进行初始化。由于初始化的虚拟类型词不是特定实体的准确类型，这些可学习的虚拟类型词可以根据上下文进行动态调整，并在RE中起到了实体标记的弱化作用。可学习的虚拟类型词初始化方法如下：

 和分别表示主体和客体的虚拟类型词嵌入，表示集合上的去重操作，是语言模型的词嵌入层。由于基于标签词内的先验知识设计的虚拟类型词最初可以感知实体类型范围，因此可以根据上下文对其进行进一步优化，以表达接近真实实体类型的语义信息。

        关系知识注入：先前关于提示调优的研究通常通过自动生成在词汇表中的一个标签词和一个任务标签之间形成一对一映射，这种搜索过程计算复杂度高，且无法利用关系标签中的丰富语义知识进行RE。为此，本文假设在PLM的标签词空间中存在一个可以表示关系的隐含语义的虚拟答案词。从这一角度，我们用额外的可学习关系嵌入来扩展语言模型L的MLM头部层，并作为虚拟答案词集合，以完全表示对应的关系标签y。因此，我们可以用在掩码位置上的概率重新定义。本文提出对标签语义知识进行编码，促进RE过程。具体来说，我们设置和，其中表示通过分解关系标签r在候选集合上的概率分布，m是关系标签数。此外，我们使用加权平均函数来平均中的每个单词的嵌入，这样可以注入关系的语义知识。 分解过程如表1所示，虚拟答案词的可学习关系嵌入初始化如下：

 虚拟答案词可以基于上下文进一步优化，以表示最佳的语义信息，从而获得更好的性能。