15 分钟搭建一个基于XLNET的文本分类模型——keras实战

今天笔者将简要介绍一下后bert 时代中一个又一比较重要的预训练的语言模型——XLNET ,下图是XLNET在中文问答数据集CMRC 2018数据集(哈工大讯飞联合实验室发布的中文机器阅读理解数据,形式与SQuAD相同)上的表现。我们可以看到XLNET的实力略胜于BERT。

15 分钟搭建一个基于XLNET的文本分类模型——keras实战_第1张图片

XLNET 的一些表现

 

这里笔者会先简单地介绍一下XLNET精妙的算法设计,当然我尽量采用通俗的语言去表达那些深奥的数学表达式,整个行文过程会直接采用原论文的行文流程:Observition—>Motivition—>Contribution。然后我会介绍一下如何用python在15分钟之内搭建一个基于XLNET的文本分类模型。

XLNET的原理

Observision

XLNET的原论文将预训练的语言模型分为两类:

1. 自回归:根据上文预测下文将要出现的单词,让模型在预训练阶段去做补充句子任务,其中代表模型就是

你可能感兴趣的:(人工智能AI)