【论文IJCAI】Attention as Relation:Learning Supervised Multi-head Self-Attention for Relation Extration

论文链接：https://www.ijcai.org/Proceedings/2020/0524.pdf
论文源码：https://github.com/NKU-IIPLab/SMHSA
  这是IJCAI2020的联合实体关系抽取论文，也是主要针对实体重叠的三元组识别问题。这篇文章把任务分成3个部分分别处理各自问题进行抽取得到较好结果。

Abstract

  联合实体和关系提取是许多自然语言处理任务的关键问题，已引起人们越来越多的研究兴趣。但是，它仍然面临着识别与整个实体边界重叠的关系三联以及检测多类型关系的挑战。本文提出了一种基于注意力的联合模型，该模型主要包括实体提取模块和关系检测模块。该模型的关键是设计了一个监督的多头自注意机制作为关系检测模块，分别学习每个关系类型的令牌级关联。通过引入注意机制，我们的模型可以有效地识别重叠关系，并灵活地预测关联类型及其对应强度。为了验证模型的有效性，我们在两个基准数据集上进行了综合实验。实验结果表明，我们的模型达到了最先进的性能。

Introduction

  这一部分主要讲了联合实体关系抽取的一些常规问题，还有以前的一些模型使用，对这个问题的解决方法，也举了一个例子来说明实体重叠类型（EPO、SEO）。

  最后总结了模型的三点贡献:

• 提出了一个基于监督注意的联合模型，它可以灵活地识别与整个实体边界重叠的三元组。
• 为了充分捕捉独特的关联语义，分别学习不同关系类型下的关联强度，将关系检测转化为一个多标签分类任务，并设计了一个监督的多头自注意机制。
• 在两个基准数据集上进行了广泛的实验，模型获得了最先进的性能，分别有1.3%和14.2%的改进。

Model

  给定一个句子X = {x1, x2，…}联合实体和关系提取任务的目的是从X中识别一组关系三联件T = [(fl, rl, sl)]，其中fl、sl、rl3分别表示第一个实体、第二个实体及其关系。注意实体是从给定的句子中提取的，而关系是从预定义的集合R = {R1,R2，…，RM}，包含M类型。
  为了解决这一问题，需要考虑三个问题:检测重叠关系;学习每种关系类型的特征关联语义;独立计算每种关系类型的关联强度。为此，本文提出了一种基于监督注意的联合模型，模型框架如图 所示。具体地说，我们的模型包括编码层、实体提取模块和关系检测模块。我们采用CRF作为实体提取模块来识别实体，设计了一个监督的多头自注意机制作为关系检测模块来学习每个关系类型的令牌之间的细粒度关联。最后，我们将两个模块的预测结果进行融合，并通过给定的阈值来推断出三元组。

  第一部分是编码层，利用双向LSTM为每个输入的上下文进行编码标记学习到形态学特征和得到单词的嵌入。公式都比较简单，可以去看原文都能很好的理解。第二部分是实体抽取模块，采用了条件随机场（CRF）作为实体抽取模块的模型。主要是为了能够个更好的识别实体边界，把实体识别任务作为了一个序列标注任务。这样CRF可以利用状态得分矩阵对令牌和标签之间的映射进行建模。第三部分是关系检测模块，这部分把关系检测转化为一个多标签分类任务，利用有监督的注意力机制把每个关系类型作为一个独立的子空间进行处理，这样做的好处就是模型可以学习到细粒度的关联语义，从而模型的准确率能够有进一步的提升。

Experiments

数据集：NYT和WebNLG
  具体的实验参数设置可以去原文看，这里主要说一下实验结果。

  实验也主要分为了两部分：对比实验和消融性试验。




  实验结果还是很明显能够看到提出的模型得到的效果，其中还单独对实体提取也进行了实验，这里就不列出来了，其中的效果也是很好的。

Conclusion

  本文针对联合实体和关系的提取任务，提出了一种简单但非常有效的基于注意的联合模型。关系检测模块采用监督的多头自注意机制，将每一种关系类型视为一个子空间，并保持它们之间的独立性，可以灵活地检测出实体重叠关系和单实体重叠关系。同时，实体提取模块可以通过CRF对实体边界进行准确识别。最后，我们根据这两个模块的结果推断出三元组。大量的实验表明，我们的模型达到了最先进的性能。