Raki的读paper小记：Bipartite Flat-Graph Network for Nested Named Entity Recognition

Abstract & Introduction & Related Work

• 研究任务
  嵌套NER
• 已有方法和相关工作
• 面临挑战
  1. 已有的模型只考虑从最内层到外层的信息的单向传递
• 创新思路
  1. 双向考虑了内外层子图之间的信息交互
• 实验结论
  sota
  

Model

首先给出模型总览图

外层使用BiLSTM + CRF来抽取平面实体，并将抽取出来的特征构成一个图 $G^1$

对于图模块，我们使用GCN，它在潜在实体的起点和终点节点之间迭代传播信息以学习内部实体。最后，从图模块学到的表征被进一步反馈到平面模块，以获得更好的最外层预测。

Token Representation

首先把word embedding和 char embedding concat起来，然后丢到一个BiLSTM里面得到序列信息，把输出的新特征丢到接下来的模块里面

Flat NER Module

一个BiLSTM + CRF 没什么好说的

Graph Module

Graph Construction

图一就是一个团

图二就是…从node0到nodeN的一个有向图

Bi-GCN

给出一个图G， 和它的节点，图特征由 Bi-GCN来学习

通过下面公式得到两个图的汇聚特征

在得到每个节点的特征后，通过一个两层的fc，最后经过一个softmax来得到实体得分

对于内部实体，使用交叉熵来计算损失

BiFlaG Training

公式（7）中的实体得分M带有句子中每个词对的类型概率。为了进一步考虑从内部实体到外部实体的信息传播，我们使用 $Bi-GCN$ 从实体得分M中为平面模块生成新的表示。词对 $(t_i,t_j)$ 的最大类型得分 $r_{ij}$ 表示这个span是实体还是非实体，以及作为这种类型的置信度，由最大汇聚得到

构建出一个新的图 $G^3$ ，$r_{ij}\in E$

第一部分由平面模块构成

第二部分由新图上做双向图卷积得到

得到最终表示

新的表示丢到平面模块来更新参数并且抽取更好的外部实体

外部损失由两个CRF构成

整个算法的流程

Loss Function

总的损失函数，其中 ${\lambda }_2$ 是平面模块和图形模块的损失之间的权重。在训练阶段，我们将这一总损失降到最低

Experiment

Conclusion

我们的BiFlaG模型也可以通过简单地移除图模块来处理非嵌套结构。就相同的严格设置而言，实证结果表明，我们的模型普遍优于以前的sota

Remark

应用了图结构，感觉整体中规中矩，没啥亮点，或许一定程度上证明了应用图结构的有效性？