论文笔记：FewRel 2.0: Towards More Challenging Few-Shot Relation Classification

论文来源：EMNLP 2019

论文地址：https://aclanthology.org/D19-1649.pdf

论文代码：https://github.com/thunlp/fewrel

Gao T, Han X, Zhu H, et al. FewRel 2.0: Towards More Challenging Few-Shot Relation Classification[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). 2019: 6250-6255.

---

Abstract

        提出FewRel2.0，用于研究小样本关系分类模型的两个方面：（1）它们能适应只有少数实例的新领域吗？（2）它们能检测“以上都不是”（NOTA）关系吗？为了构建FewRel2.0，本文在FewRel数据集的基础上添加了一个完全不同的领域的新测试集和一个NOTA关系选项。实验发现，（1）现有的小样本关系分类模型在这两方面存在困难，（2）常用领域自适应和NOTA检测技术仍然不能很好地应对这两个挑战。

Introduction

        小样本领域自适应（few-shot DA）旨在评估小样本模型跨领域传输问题，这对于现实世界的应用是非常重要的，因为测试领域往往缺乏标注并且可能与训练域有很大差异。

        小样本“以上都不是”检测（few-shot NOTA）是小样本学习中已存在的N-way K-shot设置的高级版本，在few-shot NOTA中查询集实例也可以是“以上都不是”，即查询集实例的类别不存在于支持集的N个类别，这给分类带来了增加了一个选项，并且对现有的小样本方法提出了挑战，

FewRel2.0

        原始的FewRel任务采用N-way K-shot设置。整个数据集被划分为训练集、验证集和测试集，在关系类型上没有较差。从测试集中采样的batch来测试模型，每个batch由组成，其中关系集，为查询集实例对应的关系标签，为每个类别包含个实例的支持集。模型基于给定的S和R预测查询实例x的关系标签y。

       Few-shot DA 在现实场景中，可能在一个领域训练模型，在另一个领域执行小样本学习。例如，在拥有大量数据和足够标注的Wikipedia上训练模型，然后对一些数据稀疏的领域，如文学、金融和医学，进行小样本学习。这些语料库不仅在形态学和语法上存在巨大差异，而且在这些领域上定义的关系集之间也存在差异，使得跨领域的知识迁移更具有挑战性。

为了探索few-shot DA，将PubMED（一个包含大量生物医学文献的数据库）和UMLS（一个生物医学科学的大规模知识库）对齐，构建了一个新的测试集。数据集包含25个关系，每个关系100个实例。

对于few-shot DA采用原始的FewRel训练集进行训练，使用新标注的数据集进行测试，并使用SemEval-2010任务8数据集作为验证集，验证集和测试集处于不同的域。

Few-shot NOTA NOTA表示查询实例不属于给定的关系类别，在一些传统的分类任务中，NOTA通常被视为一个额外的类，但在小样本学习中，检测NOTA可能是困难的，因为给定的关系集不是固定的，因此NOTA关系每次需要覆盖不同的语义空间。

在测试阶段，所有的查询实例都来自测试集，为了更好地展示NOTA关系的性能，使用原始的FewRel数据集，而不是新的测试集，这样可以避免领域适应的影响。

        表1展示了2-way 1-shot设置的Few-shot DA和Few-shot NOTA，对于Few-shot DA，训练和测试数据来自不同的域，对于Few-shot NOTA要求模型检测NOTA关系。

 Experiment