Connecting the Dots: Document-level Neural Relation Extraction with Edge-oriented Graphs

文档句子关系抽取 EMNLP 2019

论文地址
代码地址

abstract

文档级关系提取是一个复杂的过程，因为需要逻辑推理才能提取文本中命名实体之间的关系。现有的方法使用基于图的神经模型，以单词为节点，边为单词之间的关系，来对句子之间的关系进行编码。这些模型是基于节点的，即，它们仅基于两个目标节点对来形成表示。但是，实体关系可以通过为节点之间构造唯一的边表示来更好地表达。因此，我们提出了一种用于文档级关系提取的面向边的图神经模型，该模型利用不同类型的节点和边来创建文档级图。图边缘的推理机制使用多实例学习来学习句子内和句子间的关系。实验表明在两个文档级生物医学数据集上的化学疾病和基因疾病关系抽取上取得很好的效果。

1 Introduction

提取文本中命名实体之间的关系，称为关系提取（RE），是自然语言处理（NLP）的一项重要任务。最近，RE吸引了来自该领域的大量关注，以提高当前方法的推理能力（Zeng等人，2017; Christopoulou等人，2018; Luan等人，2019）
在实际应用中，句子之间会表达大量的关系。识别这些关系的任务称为句子间RE。通常，句间关系出现在带有几个句子的文本片段中，例如文档。在这些片段中，有些实体通常会出现相同的短语或别名，这些短语或别名的出现通常被称为entity mentions，并被视为该实体的实例。在不同的句子中目标实体的多个mentions可能有助于识别句间关系，因为这些关系可能取决于实体的mentions与同一文档中其他实体的交互。

如图1的示例所示，实线表示句内关系，虚线表示句间关系。实体bilateral optic neuropathy（双侧视神经病变），ethambutol（乙胺丁醇）和isoniazid（异烟肼）各有两个mentions（提及），而实体scotoma（刻痕瘤）仅有一个mention。化学物ethambutol（乙胺丁醇）和疾病scotoma（葡萄球菌病）之间的关系显然是句间的。仅当我们考虑不同句子中这些实体的mentions之间的相互作用时，才能确定它们的关系。在第一句话中，bilateral optic neuropathy（双侧视神经）与ethambutol（乙胺丁醇）相互作用。第三句中bilateral retrobulbar neuropathy与scotoma相互作用。这种相互作用的链可以帮助我们推断实体ethambutol与实体scotoma有关系。
用于处理命名实体有多种提及的情况，当前最常见技术是多实例学习（MIL）。最初，MIL由Riedel等人引入。 （2010年），以减少在远距离监督的噪音（Mintz等人，2009年）。在DS中，使用Knowl Edge Base（KB）实体链接从大型原始语料库创建训练实例，并自动使用启发式规则进行注释。在这种情况下，MIL会考虑多个句子（袋），这些句子包含多个实体对，并且这些实体对被看作多个实例。 Verga等。 （2018）引入了另一个MIL设置，用于文档中命名实体之间的关系提取。但是，文档级RE在通用领域并不常见，因为感兴趣的实体类型通常可以在同一句子中就可以找到（Banko等，2007）。相反，在生物医学领域，鉴于生物医学实体可能具有的众多别名，文档级关系尤为重要（Quirk and Poon，2017）。
为了处理文档级RE，最近的做法是假设文档中只有两个提及目标实体）或者就是使用不同的模型进行句子内部和句子间RE的关系抽取。与采用序列模型的方法相比（Nguyen和Verspoor，2018年; Gu等人，2017年; Zhou等人，2016年），基于图的神经网络方法已被证明可用于编码远距离和句子间的信息，这些模型将单词看作为节点，并将它们之间的连接看作为边。它们在训练过程中通过更新节点上的表示来抽取关系。但是，两个实体之间的关系取决于不同的上下文。因此，可以建立该实体之间唯一的边来更好的表达实体之间的关系。解决此问题的简单方法是创建基于图的模型，该模型依赖于边表示，而不是节点表示，并且它们在多个实体对之间共享。
在本文中，我们使用MIL（多实例学习）和基于图的神经模型来处理文档级，句子内和句子间的RE。我们的目标是利用文档中的其他交互来推断两个实体之间的关系。我们使用节点和边的异构类型构造文档图，以更好地捕获节点之间的不同依赖关系。在提出的图中，节点可以对应：实体，（mentions）提及或句子，而不仅仅是单词。我们基于简单的启发式规则连接不同的节点，并为连接的节点生成不同的边表示。为了实现我们的目标，我们在某种意义上将模型设计为面向边的，因为它可以学习边表示（在图节点之间）而不是节点表示。图边上的迭代算法用于以边表示形式对节点之间的依赖关系进行建模。通过使用这些边可以预测句子内和句子间的实体关系。我们的贡献可以总结如下：

1. 我们提出了一种用于文档级关系提取的新颖的面向边缘的图神经模型，该模型偏离了现有的图模型，因为它专注于构造唯一的节点和边缘，将信息编码为边缘表示而不是节点表示形式。
2. .所提出的模型独立于句法依赖工具，并且可以在手动注释的文档级化学疾病交互数据集上实现最新的性能。
3. 对模型组件的分析表明，文档级图可以有效地编码文档级依赖关系。此外，我们证明了句子之间联系对句子内关系的检测是有促进作用的。

2 Proposed Model

模型的构建是基于先前提出的句子级模型（Christopoulou等人，2018）进而扩展为文档级的关系抽取。两种模型之间最大的区别是部分连接文档图，而不是全连接图进行文档级句子抽取。此外，文档图由节点和节点的异构类型组成的，而句子级图中的边仅包含实体节点和连接实体对的边。此外，本文提出多实例学习方法去处理实体存在多个提及的情况。

如图2所示，所提出的模型由四层组成：句子编码层，图形构建层，推理和分类层，该模型接收标记的实体及其提及的文档作为输入。接下来，构建具有多种类型的节点和边的文档级图。推理算法应用于生成实体对之间的边表示。在最后一层，目标实体节点之间的边表示被分类为关系类别。
在本节的其余部分中，我们首先简要介绍文档级RE任务定义，然后解释所提出模型的四层结构。

2.1 Task Setting

从概念上讲，文档级RE的输入是带标记的文档。标记包括概念级别的实体（具有分配的KBID），以及每个实体的多个提及或别名。我们考虑了提及与给定实体之间的关联（也称为实体链接（Shen等人，2014））。该任务的目标是给定带标记的文档，去识别该文档中所有相关的实体对。在这项工作中，我们将概念级标记称为实体，将提及级标记称为提及。

2.2 Sentence Encoding Layer

首先，将输入文档的句子中的每个单词转换矢量表示，即单词嵌入。然后将每个句子的矢量化词送入双向LSTM网络（BiLSTM）（Hochre iter和Schmidhuber，1997； Schuster和Paliwal，1997），称为编码器。编码器的输出获得输入句子中每个单词的上下文表示。

2.3 Graph Layer

来自编码器的上下文化词表示用于构建文档级图结构。图层包括两个子层：节点构造层和边构造层。我们在第一子层中组成图节点的表示，在第二子层中组成边的表示。

2.3.1 Node construction

我们在图中构造三种不同类型的节点：提及节点（M）nm，实体节点（E）ne和句子节点（S）ns。将每个节点表示形式计算为不同元素嵌入的平均值。首先，提及节点对应于文档中实体的不同提及。提及节点的表示形式是提及所包含的单词（w）的平均值。其次，实体节点代表独特的实体概念。实体节点的表示形式作为与该实体相关联的提及（m）表示的平均值进行计算。最后，子节点表示为句子中单词表示的平均值。为了区分图中的不同节点类型，我们将嵌入每个节点表示的节点类型（t）拼接起来。最终节点表示为nm = [avgwi∈m（wi）; tm]，ne = [avgmi∈e（mi）; te]，ns = [avgwi∈s（wi）; ts]。

2.3.2 Edge construction

我们使用启发式规则在图节点之间构造无向边，该启发式规则源于文档元素（即提及，实体和句子）之间的自然关联。由于我们无法预先知道两个实体是否相关，因此我们不直接连接实体节点。节点之间的连接基于预定义的文档级交互。该模型的目标是使用图中的其他现有边生成实体对实体（EE）边表示，并由此推断实体对实体的关系。不同的预定义边缘类型如下所述。
Mention-Mention (MM):
对同一条句子中的mention之间建立边，边的表示是由mention1和mention2拼接，以及mention1和mention2之间的文本和单词到mention之间的相对距离。

并计算mention1和mention2之间的words相对于mention的注意力权重

其中***nmk***是一个mention的表示，wi是一个sentence里面的词， ai是一个词相对于mention1和mention2的注意力权重，H ∈ Rw×d是一个句子的矩阵表示，a ∈ Rw注意力权重矩阵，cm1,m2是content基于mention1和mention2的在计算过注意力权重后的表示。

Mention-Sentence (MS):
初始边是mention和句子表示的拼接：xMS = [nm; ns].
Mention-Entity (ME):
初始边是mention和与之对应的实体表示的拼接： xME = [nm; ne].
Sentence-Sentence (SS):
句子i到句子j的表示拼接：xSS = [nsi ; nsj ; dsi,sj]并且计算句子i和句子j的距离。SSdirect and SSindirect分别表示句子相邻和不相邻。
Entity-Sentence (ES):
一个句子中至少包含一个实体或者提及才会建立实体到句子的边：xES = [ne; ns].

2.4 Inference Layer

我们利用迭代算法来生成图中不同节点之间的边，以及更新现有边。我们仅使用第2.3.2节中描述的边来初始化图形，这意味着不会有直接实体到实体（EE）边。我们只能通过表示节点之间的路径来生成实体到实体的边表示。这意味着可以通过最小长度等于3的边路径关联实体【也就是句子内部的2条路径和跨句子之间的3条路径（Length 2 for an intra-sentence pair (E-S-E) or length 3
for an inter-sentence pair (E-S-S-E)）】
为此，我们采用了Christopoulou等人（2018）提出的两步推理机制，以对图中节点和边之间的交互进行编码，从而对实体到实体之间的关系进行建模。
第一步，我们旨在使用中间节点k在两个节点i和j之间生成一条路径。因此，我们使用修改后的双线性变换组合了两个连续边缘eik和ekj的表示。此步骤将生成2倍的边表示。我们将i和j之间的所有现有路径合并到k。 i，j和k节点可以是E，M或S这三种节点类型中的任何一种。与目标节点没有边的中间节点将被忽略。

其中σ是sigmoid非线性函数，W∈Rdz×dz是学习的参数矩阵，⊙表示元素逐乘，l是边的长度，eik对应于节点i和k之间的边的表示。
在第二步中，我们通过线性插值聚合原始边和更新后的边表示信息，如下所示：

将这两个步骤重复有限次数N。迭代次数与边表示的最终长度相关。初始边缘长度l等于1时，第一次迭代将导致边长度最多为2。第二次迭代将导致边缘长度最多为4。类似地，在N次迭代之后，边缘的长度将为最高2的N次方。
其中β∈[0，1]是控制较短边表示的权重的标量。一般而言，对于较短的边，β较大，因为我们希望通过两个节点之间的最短路径可以更好地表达两个节点​​之间的关系（Xu等人，2015； Borgwardt和Kriegel，2005）。

2.5 Classification Layer

为了对文档中的实体对进行分类，我们使用了与实体对相对应的文档图的实体到实体边（EE），并喂入softmax分类器。

其中Wc∈Rr×dz和bc∈Rr是分类层学习的参数，r是关系类别的数量。

3 Experimental Settings

3.1 Data and Task Settings

3.2 Model Settings

4 Results

5 Analysis & Discussion

6 Related Work

传统的工作使用RNN或CNN进行句子内部的单个实体对关系抽取，并且使用了外部依赖工具。

7 Conclusion

我们提出了一种新颖的面向边的图神经网络模型，使用多实例学习进行文档级关系提取。所提出的模型构造了具有节点和边的异构新类型的文档级图，同时在图边上使用迭代算法对句子内和句子对进行了建模。据我们所知，这是首次提出将面向边的模型用于文档级RE。
对句子内和句子间对的分析表明，提出的部分连接的文档图结构可以有效地编码文档元素之间的依赖关系。此外，我们推断出文档级信息可以有助于识别句子内的句子对，从而提高准确性和F1得分。
在将来的工作中，我们计划改善推理机制，并可能在文档图结构中合并其他信息。我们希望这项研究能启发社区进一步研究在RE和其他相关任务上使用面向边的模型。

总结

该文章不依赖外部工具构建文档级图神经网络，通过更新节点之间的边表示来预测实体对之间的关系。