Raki的读paper小记:Named Entity Recognition as Dependency Parsing

Abstract & Introduction & Related Work

  • 研究任务
    嵌套NER
  • 已有方法和相关工作
  • 面临挑战
  • 创新思路
    用依赖解析来做NER
  • 实验结论
    sota

Methods

输入用bert,fasttext,char 三种embedding

bert用(Kantor and Globerson, 2019)的方案,得到一个目标token的上下文相关嵌入,每边有64个周围token

char embedding 用CNN

三种embedding concat起来丢到BiLSTM里面
Raki的读paper小记:Named Entity Recognition as Dependency Parsing_第1张图片
对于每一个span,把首尾的特征丢入一个全连接层里面去,得到h然后再用双仿射得到 r m r_m rm
Raki的读paper小记:Named Entity Recognition as Dependency Parsing_第2张图片
r m r_m rm提供了在限制首在尾前面的条件下所有可能的span能构成一个命名实体的得分,然后通过argmax来得到一个实体类别
在这里插入图片描述
对于嵌套式NER,只要一个实体不与排名较高的实体的边界发生冲突,就会被选中

对于平面NER,我们还应用了一个约束条件,即任何包含或位于排在它之前的实体的实体都不会被选中。我们的命名实体识别器的学习目标是分配给一个正确的类别(包括非实体)给每个有效的span。因此,它是一个多类分类问题,我们用softmax交叉熵来优化我们的模型
Raki的读paper小记:Named Entity Recognition as Dependency Parsing_第3张图片

Experiments

Raki的读paper小记:Named Entity Recognition as Dependency Parsing_第4张图片
Raki的读paper小记:Named Entity Recognition as Dependency Parsing_第5张图片
Raki的读paper小记:Named Entity Recognition as Dependency Parsing_第6张图片
Raki的读paper小记:Named Entity Recognition as Dependency Parsing_第7张图片

Conclusion

在本文中,我们将NER重新表述为一个结构化的预测任务,并采用了SoTA依赖性解析方法来进行嵌套和平面的NER。我们的系统使用上下文嵌入作为多层BiLSTM的输入。我们采用一个双线性模型为一个句子中的所有跨度分配分数。进一步的约束被用来预测嵌套的或平面的命名实体。我们在八个命名实体语料库中评估了我们的系统。结果显示,我们的系统在所有八个语料库中都实现了SoTA。我们证明了先进的结构化预测技术对嵌套和平面的NER都有很大的改善

Remark

本来看到标题都把我劝退了,依赖解析??我不会啊,CS224n讲这个我都听的云里雾里没有去搞清楚,然后一看模型,才一页??!马上开始读,然后读完,感觉神清气爽,好像跟依赖解析没有太大关系,用一个简单的模型做到了sota,不愧是Google参与出品,比起上一篇那东西好多了,而且还研究的是热门的flat/nested NER,爱了爱了

你可能感兴趣的:(NLP,读paper,深度学习,自然语言处理,人工智能,神经网络,机器学习)