论文浅尝 | 基于注意力图卷积神经网络的依存驱动关系抽取

笔记整理：王大壮

论文链接：https://aclanthology.org/2021.acl-long.344.pdf

动机

句法信息,特别是依存树,已经被广泛应用于关系提取,以更好地分析与给定实体相关联的上下文信息。然而大多数现有的研究都饱受依赖树噪声的影响，特别是当它们自动生成时。由于直接利用依存信息可能会引入混淆，所以需要对依存信息进行筛选。为此，本文通过注意力图卷积神经网络（A-GCN）来辨别不同词依存的重要性，同时考虑到不同依存关系类型对关系分类的作用，在模型中也引入了依存关系类型的信息。

论文方法

关系抽取旨在辨别给定文本中提及的实体之间的关系。

本文方法可以分为以下两步，模型整体框架如下：

1.考虑依存类别的注意力图神经网络

a)通过依存句法树构建邻接矩阵A（存储两次之间是否存在依存关系：两词之间有关系为1，没关系为0）；

b)构建依存类别邻接矩阵T（存储两词之间依存关系类别，比如nsubj）

c)对于每层A-GCN网络，给定上一层第i个词（表示为  ）和第j个词（表示为  ），可以从T中得到对应关系类型，经嵌入表示为  。

（1）首先使用下式求得第i个词的中间表示：

同理求得第j个词的中间表示：

（2）考虑到不同依存关系应该具有不同的权重。用下式计算当前依存关系的权重：

其中，  对应矩阵A（两词之间有关系为1，没关系为0）中的元素。

（3）下一层第i个词的表示经下式得到（加权求和）：

其中，W、b代表一个线性层的参数，  代表相应权重，  是依存关系类型增强（考虑到依存关系类别对关系抽取的影响）的词表示，由下式计算：

2.使用A-GCN的关系分类

（1）将输入文本经过BERT得到隐层表示，第i个词表示为  ，将  传入A-GCN模型得到第L层的输出  。

（2）接着使用最大池化对属于实体描述范围的词的隐层表示进行处理：

（3）接着用整句文本（  ）的表示和两个实体（ 、 ）的表示进行拼接，然后使用一个可训练矩阵来得到输出空间的向量：

（4）最后应用一个softmax函数来预测两个实体之间的关系：

实验

1.实验首先设计了以下几个变量进行比较，实验结果如下：

a)采用BERT-base 或BERT-large

b)进行依存剪枝L+G 或不剪枝Full

c)使用一般的GCN 和GAT

d)对于GCN 和A-GCN使用了不同的层数进行比较

1）使用A-GCN的模型均比BERT-base和BERT-large要好。

2）在所有的数据集同样的设置下，A-GCN均比GAT和GCN的基线要好。

3）对于使用A-GCN的模型，进行依存剪枝L+G的效果均比Full好。

4）使用A-GCN的模型在两层时达到最佳性能。

2.使用上述实验得到的最佳模型设置和之前工作的比较：

可以看到提出的模型达到了最佳效果。

3.使用不同依存信息的比较：

4.消融实验（注意力机制+依存类型）

总结

该论文提出了一种基于注意力图卷积神经网络来利用依存信息用于关系抽取的方法，通过注意力机制来对依存关系及其类型进行加权，从而更好地区分重要的依存信息并加以利用，使得A-GCN可以动态地学习不同的依存关系并剪枝掉无用的依存信息。在两个英文基准数据集上的实验结果证明了提出方法的有效性。

---

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。