论文阅读笔记--UNIRE: A Unified Label Space for Entity Relation Extraction

Date
2021年7月18日

作者 & 机构:
Yijun Wang, Changzhi Sun, Yuanbin Wu, Hao Zhou, Lei Li, and Junchi Yan
上海交大计算机
上海交大AI研究院
华东师大计算机
字节跳动AI Lab

链接 : [https://arxiv.org/pdf/2107.04292.pdf]

说明:
Published at ACL 2021 main conference

研究主题

本文针对实体关系抽取任务提出了一种联合标签框架，可以在一个矩阵中同时表示实体标签和关系标签,强化了实体标签和关系标签的交互，在多个数据集上实现了最优或者有竞争力的结果

以往的模型(Zhong and Chen,2020)使用pipeline的方式实现了实体关系的SOTA,他们对实体和关系采用独立的编码器和解码器，并且标签空间也不共享，作者为了促进两个子任务的交互，让这两个任务使用共享的编码器和解码器，并且共享标签空间
作者提出了填表的方式来实现将实体关系纳入到统一的标签体系中，其中实体在表格中是一个正方形，即每一个实体内部所有字符之间都是同样的标签；而关系在表格中是一个矩形，即有关系的一对实体的所有字符对之间都有同样的标签。
作者的模型不仅实现了最好的效果，而且在速度和参数量上都优于其他模型。

实体关系统一的标签体系.png

作者把实体关系联合抽取建模成一个填表问题，对于一个句子，维护一个表格,其中是句子的长度，对于表格中的任一元素，给它赋予一个标签，其中(代表token之间没有关系)
对于一个实体，对应的标签应该被填成.
对于一个关系,对应的标签(应该被填成
其余标签都是

这部分感觉是凑篇幅用的

对称性
如果关系是对称的话，表格也是对称的，因此，对于对称的关系对，其对应位置的标签应该一致，例如表格中的David Perkins和wife之间是PER-SOC的关系，反过来也成立。因此，我们可以添加这个约束条件，让对称关系的对应位置的标签差异最小化。
隐含性
如果一个关系存在，那么它对应的两个实体也存在。因此，一个关系标签的得分一定不高于其对应的实体的标签的得分。
$\mathcal{L}_{imp} = \frac{1}{|s|}\sum\limits_{i=1}^{|s|}[\mathop{max}\limits_{l\in\mathcal{Y}_r}\{\mathcal{P}_{i,:,l},\mathcal{P}_{:,i,l}\} - \mathop{max}\limits_{t\in \mathcal{Y}_e}\{\mathcal{P}_{i, i, t}\}]$
其中使用hinge loss计算。
最终损失为三者之和

这里为了减少参数量，没有加入其它参数调节权重。

本文的解码分为三步，

本文提出了一个统一的标签体系来进行实体关系抽取，以此实现对这个量任务交互信息的深入挖掘。
这个标签体系分别将实体和关系表示为矩形和正方形。
通过biaffine填表，然后通过三步解码还原出实体和关系。
作者的模型不仅效果好，而且效率高。