论文笔记 WWW 2022|Ontology-enhanced Prompt-tuning for Few-shot Learning

1 简介

论文题目：Ontology-enhanced Prompt-tuning for Few-shot Learning
论文来源：WWW 2022
组织机构：浙江大学
论文链接：https://arxiv.org/pdf/2201.11332.pdf

1.1 动机

• few-shot中注入知识，存在下面三种挑战：

1. Knowledge Missing： 由于外部知识库的不完全，不能提供任务相关的知识。
2. Knowledge Noise：不加区分的知识可能对下游任务没有帮助。
3. Knowledge Heterogeneity：下游任务的文本语料与知识是不同的，形成两种各自的向量表示。

1.2 创新

• 提出本体转换(ontology transformation)来丰富结构知识并将其转换为文本格式。
• 提出span-sensitive knowledge injection，选择有用的知识，避免加入噪声。
• 提出一个collective training algorithm，联合优化表示。在关系抽取、事件抽取、知识图谱补全任务上取得了不错的效果。

2 方法

整体框架如上图，分别应用到三种任务上，下面分别介绍各个模块的作用。

2.1 General Framework with Prompt-Tuning

输入为文本和模板的拼接(包含[MASK]的token，公式1)，输出为[MASK] token的概率分布(公式2)，本体文本从外部知识库得到，作为辅助promot。

2.2 Ontology Transformation

本体表示为$O=\{C,E,D\}$,其中C为概念集合，E为概念间的连边，D为每个本体的文本描述。不同的任务使用不同的本体资源：

2.2.1 Relation Extraction

使用MUC (Message Understanding Conference)定义的实体概念，使用[CLS][SEP]