文章目录
-
- 1 简介
-
- 2 方法
-
- 2.1 General Framework with Prompt-Tuning
- 2.2 Ontology Transformation
-
- 2.2.1 Relation Extraction
- 2.2.2 Event Extraction
- 2.2.3 Knowledge Graph Completion
- 2.3 Span-sensitive Knowledge Injection
- 2.4 Collective Training
- 3 实验
1 简介
论文题目:Ontology-enhanced Prompt-tuning for Few-shot Learning
论文来源:WWW 2022
组织机构:浙江大学
论文链接:https://arxiv.org/pdf/2201.11332.pdf
1.1 动机
- Knowledge Missing: 由于外部知识库的不完全,不能提供任务相关的知识。
- Knowledge Noise:不加区分的知识可能对下游任务没有帮助。
- Knowledge Heterogeneity:下游任务的文本语料与知识是不同的,形成两种各自的向量表示。
1.2 创新
- 提出本体转换(ontology transformation)来丰富结构知识并将其转换为文本格式。
- 提出span-sensitive knowledge injection,选择有用的知识,避免加入噪声。
- 提出一个collective training algorithm,联合优化表示。在关系抽取、事件抽取、知识图谱补全任务上取得了不错的效果。
2 方法
![论文笔记 WWW 2022|Ontology-enhanced Prompt-tuning for Few-shot Learning_第1张图片](http://img.e-com-net.com/image/info8/995097acdd6d4a8f89fba8adaefe4cda.jpg)
整体框架如上图,分别应用到三种任务上,下面分别介绍各个模块的作用。
2.1 General Framework with Prompt-Tuning
输入为文本和模板的拼接(包含[MASK]的token,公式1),输出为[MASK] token的概率分布(公式2),本体文本从外部知识库得到,作为辅助promot。
2.2 Ontology Transformation
本体表示为 O = { C , E , D } O=\{C,E,D\} O={C,E,D},其中C为概念集合,E为概念间的连边,D为每个本体的文本描述。不同的任务使用不同的本体资源:
2.2.1 Relation Extraction
使用MUC (Message Understanding Conference)定义的实体概念,使用[CLS][SEP][SEP][SEP]最为输入序列(如上图),实体对的边作为meta-relation加强(如上图),[]周围的token是可学习的 [ u 1 ] − [ u 4 ] [u_1]-[u_4] [u1]−[u4](数量是超参数)
2.2.2 Event Extraction
事件本体为ACE event schema,使用FrameNet扩充一个更大的事件本体,人工映射frames到事件本体。输入为[CLS][SEP][SEP][SEP]。[]周围的token是可学习的 [ u 1 ] − [ u 4 ] [u_1]-[u_4] [u1]−[u4](数量是超参数)
2.2.3 Knowledge Graph Completion
从Wikidata获得本体,将知识图谱补全作为三元组分类任务,拼接实体和关系作为输入,输入为[CLS][SEP][SEP][SEP]。[]周围的token是可学习的 [ u 1 ] − [ u 4 ] [u_1]-[u_4] [u1]−[u4](数量是超参数),在推理时,根据语言模型预测的句子的最大概率对输出分数进行排序。
2.3 Span-sensitive Knowledge Injection
![论文笔记 WWW 2022|Ontology-enhanced Prompt-tuning for Few-shot Learning_第2张图片](http://img.e-com-net.com/image/info8/237c3f77c15c456e97bca0afa3e56a53.jpg)
如上图,使用一个矩阵限制外部知识对输入文本的影响(attention mask matrix),公式如下,满足下面条件时 x i x_i xi对 x j x_j xj可见:
- x i x_i xi和 x j x_j xj都属于输入文本。
- x i x_i xi和 x j x_j xj都属于相同本体的文本描述。
- x i x_i xi是输入文本中的实体, x j x_j xj为它的本体描述。
![论文笔记 WWW 2022|Ontology-enhanced Prompt-tuning for Few-shot Learning_第3张图片](http://img.e-com-net.com/image/info8/815ce377ad4a496d847228f931ce1e77.jpg)
2.4 Collective Training
首先初始化本体token,固定语言模型优化本体token, 然后优化模型的所有参数,包括语言模型和本体token。
3 实验
关系抽取使用的数据集为SemEval-2010 Task 8、TACRED-Revisit、Wiki80、DialogRE,事件抽取使用的数据集为ACE 2005,知识图谱补全使用的数据集为FB15k-237、WN18RR、UMLS,数据集统计如下:
![论文笔记 WWW 2022|Ontology-enhanced Prompt-tuning for Few-shot Learning_第4张图片](http://img.e-com-net.com/image/info8/7f18d4e8330f41a89d07f32c0628614d.jpg)
关系抽取结果如下图:![论文笔记 WWW 2022|Ontology-enhanced Prompt-tuning for Few-shot Learning_第5张图片](http://img.e-com-net.com/image/info8/8e7cfec1cd8e43c698e36a679b57e702.jpg)
事件抽取结果如下图:
![论文笔记 WWW 2022|Ontology-enhanced Prompt-tuning for Few-shot Learning_第6张图片](http://img.e-com-net.com/image/info8/6c64901e51484c8eba5ea4cada70efa5.jpg)
知识图谱补全实验结果如下图:
![论文笔记 WWW 2022|Ontology-enhanced Prompt-tuning for Few-shot Learning_第7张图片](http://img.e-com-net.com/image/info8/bc1db06893e442408ac6bd4064f2a656.jpg)
消融实验:
![论文笔记 WWW 2022|Ontology-enhanced Prompt-tuning for Few-shot Learning_第8张图片](http://img.e-com-net.com/image/info8/973a90deb00c4d6f8c4084d43aac05bb.jpg)
Case study:
![论文笔记 WWW 2022|Ontology-enhanced Prompt-tuning for Few-shot Learning_第9张图片](http://img.e-com-net.com/image/info8/0591dae07a0e4235a5a89a320ab85994.jpg)