20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻

问耕 发自 凹非寺
量子位 出品 | 公众号 QbitAI

这世界变化快。

去年10月,Google团队发布BERT模型横扫一切,在11种不同NLP测试中创出最佳成绩。现在,轮到BERT被碾压了。

CMU和Google Brain团队最新发布的XLNet,在20项任务上超过了BERT的表现,包括SQuAD、GLUE、RACE等等。

20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻_第1张图片

这个消息一出,业界又轰动了。

目前这个模型的的论文、代码和预训练模型都已经放出。

XLNet的共同一作,是本科都毕业于清华的Zhilin Yang(杨植麟)和Zihang Dai,目前两人都在CMU读博。

为什么XLNet能够横扫BERT?

作者在这篇论文中表示,BERT在训练时需要mask一些输入,忽略了被遮蔽位置之间的依赖关系,因此产生预训练-微调差异。

而这次提出的XLNet,是一种泛化的自回归预训练模型。一方面,XLNet通过通过最大化所有可能因式分解顺序的对数似然,学习双向上下文;另一方面,利用自回归来客服BERT的缺点。此外,XLNet还在预训练中借鉴了最先进自回归模型Transformer-XL的想法。

20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻_第2张图片

最终的测试表明,XLNet在20个任务上的表现优于BERT,而且通常是大幅提升;在18个任务上,获得了最高水平的结果,包括机器问答、自然语言推理、情感分析和文档排序等。

一大批用户在推特上表示了震惊。

“我还以为NLP已经被BERT和ULMFiT解决了”,一位用户发了个哭脸评论道。

这篇论文的作者大牛云集,除了开头提到的两位共同一作,还包括CMU教授Yiming Yang、Jaime Carbonell和Ruslan Salakhutdinov,以及来自Google Brain团队的大牛Quoc V. Le。

20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻_第3张图片

最后送上传送门。

论文地址在此:

https://arxiv.org/abs/1906.08237

GitHub地址在此:

https://github.com/zihangdai/xlnet

作者系网易新闻·网易号“各有态度”签约作者

AI社群 | 与优秀的人交流

20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻_第4张图片

小程序 | 全类别AI学习教程

20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻_第5张图片 20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻_第6张图片

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 ! 

你可能感兴趣的:(20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻)