2021AAAI | 嵌套命名实体识别

Nested Named Entity Recognition with Partially-Observed TreeCRFs

（作者： 英国爱丁堡大学和阿里巴巴）

传统的序列标记的方法已经不适合用来识别嵌套实体。在这篇文章中，作者使用了partially-observed TreeCRFs(PO-TreeCRFs)，将标记的实体跨度看作树中的可见节点，将其他的看作潜在节点，与其他实体部分重叠的就reject（因为嵌套实体是完全嵌套的，不会部分重叠）。为了提高速度，作者还用了Masked Inside算法来提高速度（一些相关的就是1，无关的就是0）。然后用了一个归一为均值为0，方差为1的经验分布，用一个很小值代替0的两种正则化方法，使得nested NER在3个嵌套数据集上性能都有所提升。

 

嵌套实体的几个相关工作

hypergraph-based(基于超图的)

设计一个超图表示所有可能的嵌套结构。但是这个图需要精心设计避免结构虚假和结构歧义。这会导致结构构建和计算复杂。

transiton-based（基于转换的）

与shift-reduce pasers相似，对于不同形式的词设计不同的动作。通过shift/reduce/unary这些动作来处理不同的实体（A Neural Transition-based Model for Nested Mention Recognition）。或者是合并tokens and/or entities到实体中。这些方法依赖于特定的转换系统，需要领域专家，不够一般化。

span-based（基于跨度的）

计算所有的序列的跨度表示，并给出一个分数，从这些跨度中分类出可能的实体跨度。这些方法有局部依赖性。

其他的

有gap-based tagging（Labeling Gaps Between Words: Recognizing Overlapping Mentions with Mention Separators）

有sequence-to-nuggets结构方法的（Sequence-to-Nuggets: Nested Entity Mention Detection via AnchorRegion Networks）

有sequence-to-sequence结构方法的（Neural Architectures for Nested NER through Linearization）

还有当成阅读理解来做的（A Unifified MRC Framework for Named Entity Recognition）

 

结构与模型

TreeCRFs局限于O()时间复杂度，但现在有并行计算和高效率的张量优化库，可以把时间复杂度降到O()甚至O(nlogn)（如果是2分类就可以达到O(nlogn)。

用Biaffine计算实体跨度得分

（还不是要计算跨度分数，Named Entity Recognition as Dependency Parsing也是用这个biaffine来计算跨度评分的，他的思想很简单，容易理解。而且得到的性能还更高。Biaffine的具体思想我还不明白，有时间再去仔细研究一下）

跨度评分计算方法如下：

Enc(·)表示预训练编码（文章用的BERT和），FF(·)表示前馈网络。表示每个词的嵌入表示。,,是biaffine评分机制的参数。是区间跨度分数。每个词都有标签k属于可见节点的那几个标签和隐藏节点的那几个标签。

Partially-Observed TreeCRFs（PO-TreeCRFs）

对每个句子x构造一个选区TreeCRFs树T。T表示为一个秩为3的张量，如果从词到是一个类型为k的实体，那么。

总的来说，感觉就是做了一个计算实体跨度的分数，再加上分别考虑了对应的不同实体类别的标签。

时间复杂度的降低是因为将串行改成了并行计算。

后面再做了一个小小的正则化。

文章的突出点是构建了PO-TreeCRFs，并且做了mask使得时间复杂度降低。

（记录一下阅读的论文，仅个人理解，不知道是否有误）

最后的实验结果，懒得写了，先贴个结果上来，草草结束一下。