转载:GlobalPointer:用统一的方式处理嵌套和非嵌套NER

一种NER的新设计GlobalPointer,它基于全局指针的思想,实现了用统一的方式处理嵌套和非嵌套NER的“理想设计”。实验结果显示,在非嵌套的情形下它能取得媲美CRF的效果,而在嵌套情形它也有不错的效果。

常规的Pointer Network的设计在做实体识别或者阅读理解时,一般是用两个模块分别识别实体的首和尾,这会带来训练和预测时的不一致。而GlobalPointer就是针对这个不一致而设计的,它将首尾视为一个整体去进行判别,所以它更有“全局观”(更Global)。
GlobalPointer事实上就是Multi-Head Attention的一个简化版而已,有多少种实体就对应多少个head,相比Multi-Head Attention去掉了V相关的运算。
如下面的head2,通过行“北”和列“京”对应的值为1锁定实体“北京”。
转载:GlobalPointer:用统一的方式处理嵌套和非嵌套NER_第1张图片

加不加相对位置信息,效果可以相差30个百分点以上!加了旋转式位置编码(RoPE)。

损失函数:《将“softmax+交叉熵”推广到多标签分类问题》就可以派上用场了。简单来说,这是一个用于多标签分类的损失函数,它是单目标多分类交叉熵的推广,特别适合总类别数很大、目标类别数较小的多标签分类问题。

苏剑林. (May. 01, 2021). 《GlobalPointer:用统一的方式处理嵌套和非嵌套NER 》[Blog post]. Retrieved from https://kexue.fm/archives/8373

你可能感兴趣的:(NLP,自然语言处理)