Learning from Context or Names? An Empirical Study on Neural Relation Extraction

Learning from Context or Names? An Empirical Study on Neural Relation Extraction

文章首先就影响关系抽取的主要因素做出了判断，从文本上下文背景和文本中的实体两个因素中识别出了主要影响因素。
随后，就如何提高关系抽取任务的性能提出了新的解决方法。

摘要

RE 影响因素

为神魔选择了context和entity 两个因素作为来源？
文章的解释是：一般来说，在text中有两个主要的因素可能对于RE任务有帮助：textual context和entity mentions.

实验结论：

• context是主要的用来支持关系分类的主要来源，实体mention也提供了关键的线索，其中大部分来自于实体类型信息。-------问题1 ：为什么最终定位到了entity type信息?
• 实验结果显示仅仅吧实体mention作为输入，模型仍然可以取得不错的效果，作者认为这存在数据集中的entity mention中存在统计线索。

RE新方案

通过理解context和利用实体类型，提高模型效果，避免它们仅仅能够记忆简单的实体或者其他cues .
方案： entity-masked contrastive pretraining
从维基百科中收集句子，使得表达相同关系的句子尽可能的靠近，表达不同关系的句子尽可能的疏远，作为对抗学习的目标。

正文

1、RE影响因素分析

RE模型：CNN（CNN模型，input arguments包括POS、named entity recognition、position embedding）；Bert（使用了entity markers）；Matching the blanks（在bert的基础上重新预训练的模型，目标是：判断两个被随机mask 掉entity的句子是否表达了相同的关系类型。）
数据集：TACRED