论文笔记丨FewRel 2.0: Towards More Challenging Few-Shot Relation Classification

---

作者：凯
单位：燕山大学

---

code:https://github.com/thunlp/fewrel
paper:https://www.aclweb.org/anthology/D19-1649.pdf

问题

小样本关系分类有两个挑战：

1. 只有少量实例的情况下，模型是否可以使用新的领域
2. 模型是否可以探索新的关系(以上都不是， none-of-the-above)

我们在测试集中增加了一些新领域的数据得到了FewRel2.0数据集。我们的研究要求更多地关注和进一步努力这两个问题。

介绍

小样本学习，只根据少量训练实例这需要模型处理新的分类任务，近年来引起了很多关注。我们提出了FewRel2.0数据集。

表中展示了一个2way1shot 的例子，其中蓝色代表头实体，红色代表尾实体。该数据集包含两个内容。(1)小样本的域自适应。(2)对以上都不是任务的推理。

该图说明了当前最好的小样本算法在两个任务上的差距。

Few-shot domain adaptation(few-shot DA)：在FewRel数据集的基础上增加了一些跨领域的数据，(这是由于FewRel1.0是来自WIKI数据集上，2.0是融合了多个数据集)
Few-shot none-of-the-above detection (fewshot NOTA)：最初的N-way K-shot任务是N个类别，每个类别K个实例，接着判断查询集所属于的类别（假设全部都在N类中）。在小样本NOTA任务中，查询集的实例不一定属于关系N类中。这就带来了很大的挑战。鉴于之前没有人研究相关问题，仍有很大探索空间。

FewRel 2.0

原始的FewRel数据集的训练和测试集都是通过手动标注，来自Wikidata数据集。换句话说，它们来自同一个域，但在真实的场景中，我们可能会在一个域上训练模型，并在不同的域中进行Few-shot的学习。例如，我们可以在维基百科培训大量数据和充分注释的模型，然后在数据稀疏性的一些域名，如文学，金融和医学等域名进行少量学习。注意，这些数据集不仅可以在形态和语法中彼此差异很大，但在这些域上定义的关系集之间也存在很多差异，这使得在不同域中的传输知识更具挑战性。
所以我们使用FewRel1.0作为训练集， (Hendrickx et al.,2009) 的数据集作为验证集，人工重新标注一个新的测试集，因为他们均来自不同的域。
以上都不是任务的推理：关系集定义是$r\in \{r_1,r_2,...,r_N,\text{NOTA}\}$注意，这里和1.0数据集中关系集的定义不一样$r\in \{r_1,r_2,...,r_N\}$

BERT-PAIR模型

从解决N-way K-shot任务转变为(N+1)-way K-shot任务，其中(N+1)代表原有关系加NOTA关系。由于NOTA的支持数据实际属于几个不同的关系，并且散布在特征空间中，因此难以进行分类。
为了解决域自适应和NOTA关系的问题，本文提出BERT-PAIR模型，基于bert做句子分类模型，我们将每个查询实例与所有支持实例配对，将每对作为一个序列连接，并将连接序列发送到BERT序列分类模型，以获得表示同一关系的两个实例的分数。

y是预测的标签，B代表bert，x代表查询实例，$x_r^j$代表支持集实例，$a_r$代表在每个拼接句子的得分，p代表查询实例在该类关系的可能性。NOTA的得分如下面公式计算得到。

在FewRel1.0和2.0数据集上的结果：

经过分析可以有如下发现：所有模型在不同域的数据集上遭受了巨大的影响。且本文提出的模型性能最好。

不同NOTA率对模型准确率造成的影响：