【论文阅读】Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network

ACL 2019
没有代码

我们将一个完整的论文摘要和两个目标实体作为输入，并在输入层中提到他们。
构造一个图结构，用单词作为节点，加上对于局部和非局部依赖关系的标记边。
使用堆叠的GCNN层对图结构进行编码，用MIL对所有目标实体之间的关系进行分类。

1.Input Layer

我们将每个单词$i$及其与第一个和第二个目标实体的相对位置映射为实值向量，分别是$w_i,d_i^1,d_i^2$
由于实体可以有多个提及，我们计算最近的目标实体提及的单词的相对位置。对于每个单词i，我们将单词和位置表示连接成一个输入表示$x_i=[w_i,d_i^1,d_i^2]$

2.Graph Construction

为了对摘要构建文档级图，定义了以下几种边

2.1 Syntactic dependency edge

通过将每个句法依赖标签视为不同的边缘类型，我们在每个句子的单词之间使用有标记的句法依赖边。

2.2 Coreference edge

由于共引用是局部依赖和非局部依赖的重要指标，我们使用共引用类型边连接文档中的共引用短语。

2.3 Adjacent sentence edge

我们将一个句子的句法根与上一个和下一个句子的根与相邻句子类型边连接起来，用于相邻句子之间的非局部依赖关系。

2.4 Adjacent word edge

为了保持一个句子中单词之间的顺序信息，我们将每个单词与它的前一个单词和下一个单词连接起来。

2.5 Self-node edge

GCNN仅仅根据它的邻居节点和它们的边缘类型来学习节点表示。因此，为了将节点信息本身包含到表示中，我们在图的所有节点上形成了self-node类型的边。

3.GCNN Layer

GCNN应用到文档级图上。为了学习边类型的特定表示，我们使用一个有标记的边GCNN，它为每个边缘类型保留单独的参数。GCNN迭代更新每个输入单词i的表示：

$x_i^{k+1}$表示来自第k个GCNN块的第i个单词的表示。
$v(i)$是i的一系列邻居节点
我们堆叠K个GCNN块来积累远距离的邻近节点的信息，并使用边缘控制来自邻近节点的信息。
为每个边的方向保留单独的参数。
接着对模型优化，仅TOP-N类型保留单独的参数，对于剩余的边的类型，均用相同的参数。
这可以避免由于不同边缘类型的过度参数化而导致的过拟合。

4.MIL-based Relation Classification

由于每个目标实体可以在文档有多次提及，我们采用一个基于多实例学习的分类方案。使用bi-affine成对评分来集合所有目标实体对的评测。
首先用两层前馈神经网络将每个词i投影。

分别表示头实体和尾实体。
$x_i^K$表示来自第K个GCNN块的第i个单词的表示。
由双仿射层生成提及级成对置信度，并聚合得到实体级别的成对置信度。

$E^{head}、E^{tail}$分别表示实体$e^{head}、e^{tail}$对应的提及集合。

5.总结

我们提出了一种新的基于图的句子间重用方法，该方法在文档级图上使用标记边缘GCNN模型。该图以单词为节点，单词之间的多个句子内和句子间依赖为边。

使用GCNN模型对图结构进行编码，并引入MIL对多个提及级别对进行聚合。
我们表明我们的方法在两个生物化学数据集上取得了与最先进的神经模型相当的性能。
我们调整了标记边的数量，以保持标记边GCNN中的参数数量。
分析表明，所有边缘类型都能有效地用于句子间检索。