ERNIE: Enhanced Representation through Knowledge Integration论文笔记

创新点

1.masking

Basic-level Masking:与bert相同，字的mask

Phrase-Level Masking：短语级别的mask

Entity-Level Masking：实体级别的mask

2.Heterogenereous Corpus Pre-training

加入更多语料,中文维基百科、百度百科、百度新闻、百度贴吧。

3.DLM（Dialogue Language Model）

对话模型建立,输入的对话对，标识Q或R。

实验结果

1、语义相似度任务 LCQMC

2、情感分析任务 ChnSentiCorp

3、命名实体识别任务 MSRA-NER

4、检索式问答匹配任务 nlpcc-dbqa

ERNIE Github 项目地址：

https://github.com/PaddlePaddle/LARK/tree/develop/ERNIE

参考文献：

中文任务全面超越BERT：百度正式发布NLP预训练模型ERNIE

百度飞浆：

https://aistudio.baidu.com/aistudio/projectdetail/79377