百度UIE模型的pytorch实现及ner效果测试

一、背景

最近才看到百度的UIE模型（跟不上潮流了），细节就不赘述了，可以参考下面链接。主要思路就是利用了SEL：结构化抽取语言和SSI：结构化模式提示器来实现各类信息抽取场景的大一统，也即是用同样的框架就可以实现实体提取，关系抽取，事件抽取，情感提取等多个任务了。然后就是预训练中有较多的监督数据，因此有些场景的fewshot效果就还可以了，有点拿来就用的内味了。

JayJay：信息抽取大一统：百度中科院发布通用抽取模型UIE，刷新13个IE数据集SOTA！

论文代码链接

paddlenlp开源版本

二、思路简介

笔者主要是参考paddlenlp版本，还有第三方改写paddle后的pytorch版本（这块有点偷懒了，论文代码没有仔细研读）。看下来其实思路也比较简单，就是prompt+mrc的方式，样本输入是[CLS]+prompt+[SEP]+text+[SEP]的输入方式，然后两个全连接一个用来标记start，一个用来标记end，最后和golden_label求一个BCEWithLogitLoss。

三、推理效果

直接拿过来输入几个测试用例，感觉效果尚可

>>> from pprint import pprint
>>> from paddlenlp import Taskflow

>>> schema = ['时间', '选手', '赛事名称'] # Define the schema for entity extraction
>>> ie = Taskflow('information_extraction', schema=schema)
>>> pprint(ie("2月8日上午北京冬奥会自由式滑雪女子大跳台决赛中中国选手谷爱凌以188.25分获得金牌！")) # Better print results using pprint
[{'时间': [{'end': 6,
          'probability': 0.9857378532924486,
          'start': 0,
          'text': '2月8日上午'}],
  '赛事名称': [{'end': 23,
            'probability': 0.8503089953268272,
            'start': 6,
            'text': '北京冬奥会自由式滑雪女子大跳台决赛'}],
  '选手': [{'end': 31,
          'probability': 0.8981548639781138,
          'start': 28,
          'text': '谷爱凌'}]}]

四、ner上的finetune测试

废话不多说，直接在数据集上测试看看，在人民日报数据集上zeroshot:f1=60.8, fewshot-100样本:f1=85.82, 200样本:f1=86.40，全部数据finetune是96.57。主要结论是，在小样本下有明显优势，在数据充足情况下无明显优势。

全部代码测试都是基于bert4torch框架，这是一个基于pytorch的训练框架，前期以效仿和实现bert4keras的主要功能为主，特点是尽量简洁轻量，提供丰富示例，有兴趣的小伙伴可以试用，欢迎star。

• 人民日报数据集+bert预训练模型
• valid集指标

solution	epoch	f1_token	f1_entity	comment
bert+crf	18/20	96.89	96.05	——
bert+crf+init	18/20	96.93	96.08	用训练数据初始化crf权重
bert+crf+freeze	11/20	96.89	96.13	用训练数据生成crf权重(不训练)
bert+cascade+crf	5/20	98.10	96.26	crf类别少所以f1_token偏高
bert+crf+posseg	13/20	97.32	96.55	加了词性输入
bert+global_pointer	18/20	——	95.66	——
bert+efficient_global_pointer	17/20	——	96.55	——
bert+mrc	7/20	——	95.75	——
bert+span	13/20	——	96.31	——
bert+tplinker_plus	20/20	——	95.71	长度限制明显
uie	20/20	——	96.57	zeroshot:f1=60.8, fewshot-100样本:f1=85.82, 200样本:f1=86.40

https://github.com/Tongjilibo/bert4torch/tree/master/examples/sequence_labeling/uie​github.com/Tongjilibo/bert4torch/tree/master/example