【IJCAI2021】长文本知识抽取：基于语义分割的文档级三元组关系抽取

点击下面卡片，关注我呀，每天给你送来AI技术干货！

来自：浙大KG

论文题目：Document-level Relation Extraction as Semantic Segmentation

本文作者：张宁豫（浙江大学）、陈想（浙江大学）、谢辛（浙江大学）、谭传奇（阿里巴巴），陈漠沙（阿里巴巴），黄非（阿里巴巴），司罗（阿里巴巴），陈华钧（浙江大学）

接收会议：IJCAI 2021

论文链接：https://arxiv.org/abs/2106.03618

1. 总述

关系抽取(Relation Extraction, RE)是从纯文本中提取未知关系事实，是自然语言处理领域非常重要的一项任务。过去的关系抽取方法主要将注意力集中于抽取单个实体对在某个句子内反映的关系，然而单句关系抽取在实践中受到不可避免的限制：在真实场景如医疗、金融文档中，有许多关系事实是蕴含在文档中不同句子的实体对中的，且文档中的多个实体之间，往往存在复杂的相互关系。如下图所示：

图中包括了文章中的三个关系事实（从文档标注的诸多关系事实中采样得到），其中涉及这些关系事实的命名实体用彩色着色，其它命名实体用下划线标出。与句子级相比，文档级关系抽取中的文本要长得多，并且包含更多的实体， 这使得文档级关系抽取更加困难。其中(Maryland, country, US)、(Baltimore, located_in, Maryland) 和 (Eldersburg, located_in, Maryland)三组triples中的实体在同一个句子中的出现，这种句内关系相对容易识别。然而，跨句实体之间的关系识别更具挑战性， 例如，关系事实（Baltimore，country，U.S.）和（Eldersburg，country，U.S.）中的相关实体并没有出现在同一个句子中并且需要长距离依赖， 具体来说，多个三元组之间的相互依赖是有利的，可以为实体多的情况下的关系分类提供指导。例如，如果句内关系 (Maryland, country, US) 已被识别，则{US} 不可能处于任何 person-social 关系中，例如"is the father of." 此外，根据{Eldersburg} 位于{Maryland} 和{Maryland} 属于{US} 的三元组，我们可以推断{Eldersburg} 属于{US} . 如上所述，每个关系三元组可以向同一文本中的其他关系三元组提供信息。

文档级关系抽取主要面临以下三个挑战:

1. 相同关系会出现在多个句子。在文档级关系抽取中，单一关系可能出现在多个输入的句子中，因此模型需要依赖多个句子进行关系推断。

2. 相同实体会具有多个指称。在复杂的文档中，同一个实体具有各种各样的指称，因此模型需要聚合不同的指称学习实体表示。

3. 不同三元组之间需要信息交互。文档包含多个实体关系三元组，不同的实体关系三元组之间存在逻辑关联，因此模型需要捕捉同一篇文档中三元组之间的信息交互。

然而先前的基于graph或基于transformer的模型仅单独地使用实体对，而未考虑关系三元组之间的全局信息。本文创新性地提出DocuNet模型，首次将文档级关系抽取任务类比于计算机视觉中的语义分割任务。DocuNet模型利用编码器模块捕获实体的上下文信息，并采用U-shaped分割模块在image-style特征图上捕获三元组之间的全局相互依赖性，通过预测实体级关系矩阵来捕获local和global信息以增强文档级关系抽取。实验结果表明，我们的方法可以在三个基准数据集DocRED，CDR和GDA上获得SOTA性能。

2. 方法

具体来说，DocuNet模型分为三个模块：

（1）Encoder Module

我们将triple抽取视为sequence-to-sequence的任务，以更好地对实体和关系之间的交叉依赖进行建模。我们将输入文本和输出三元组定义为源和目标序列。源序列仅由输入句子的标记组成，例如“[CLS] The United States President Trump was raised in the borough of Queens ...[SEP]”。我们连接由特殊标记 ”< e >” 和 ”< /e >”分隔的每个实体/关系的三元组作为目标序列。

其中是   实体感知注意力的注意力权重，对于矩阵中的每个实体，它们的相关性由一维特征向量   捕获。

（2）U-shaped Segmentation Module

三元组之间存在局部语义依赖，语义分割中的CNN可以促进感受野中实体对之间的局部信息交换。文档级RE还需要全局信息来推断三元组之间的关系，语义分割模块中的下采样和上采样可以扩大当前实体pair对嵌入   的感受野，能够增强全局隐式推理：

我们把实体级关系矩阵   作为D-channel图像，我们将文档级关系预测公式化为像素级掩码， 其中N是从所有数据集样本中统计出的最大实体数。

（3）Classification Module

给定实体pair的特征表示和实体级关系矩阵Y，我们使用前馈神经网络将它们映射到隐藏表示z。然后，我们通过双线性函数获得实体pair之间关系预测的概率表示如下：

由于观察到 RE 存在不平衡关系分布（许多实体对具有 NA 的关系），我们引入了一种平衡的 softmax 方法进行训练:

3. 实验

（1）数据集

为了验证DocuNet的效果，我们在三个文档级关系抽取数据集上评测，数据集具体分析如下所示：

（2）实验结果

由下面实验结果表明，DocuNet比以往的文档级关系抽取方法效果更佳。

4. 总结与展望

在本文中，我们把文档级关系抽取任务看作语义分割来求解，直接给出了如何将 UNet 应用于文档级 RE 的解决方案，实验结果表明U-shaped模块能有效得理解局部上下文和全局相互依赖性。目前结果表明U-shaped模块中的卷积学习了 RE 三元组之间的相互作用，但仍U-shaped模块的推理作用尚是隐式的，未来对U-shaped模块进一步的可视化分析有助于我们加强理解其是如何做三元组之间推理的。我们的方法证实了语义分割模块在处理RE中有效性，仍需要更多的工作去探索U-shaped模块在如aspect-based sentiment analysis等其他nlp任务上的应用。

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

点击上面卡片，关注我呀，每天推送AI技术干货~

整理不易，还望给个在看！