ERNIE: Enhanced Representation through Knowledge Integration论文笔记

创新点

1.masking

Basic-level Masking:与bert相同,字的mask

Phrase-Level Masking:短语级别的mask

Entity-Level Masking:实体级别的mask



2.Heterogenereous Corpus Pre-training

加入更多语料,中文维基百科、百度百科、百度新闻、百度贴吧。

3.DLM(Dialogue Language Model)

对话模型建立,输入的对话对,标识Q或R。


实验结果

1、语义相似度任务 LCQMC


2、情感分析任务 ChnSentiCorp



3、命名实体识别任务 MSRA-NER


4、检索式问答匹配任务 nlpcc-dbqa



ERNIE Github 项目地址

https://github.com/PaddlePaddle/LARK/tree/develop/ERNIE

参考文献:

中文任务全面超越BERT:百度正式发布NLP预训练模型ERNIE

百度飞浆:

https://aistudio.baidu.com/aistudio/projectdetail/79377

你可能感兴趣的:(ERNIE: Enhanced Representation through Knowledge Integration论文笔记)