超越BERT的广义自回归预训练方法——XLNET

原文地址：https://blog.csdn.net/qq_31456593/article/details/93015488

–
摘要：凭借对双向上下文进行建模的能力，与基于自回归语言建模的预训练方法相比，基于BERT的基于自动编码的预训练实现了更好的性能。然而，依赖于对输入使用掩码，BERT忽略了屏蔽位置之间的依赖性，并且受到预训练 - 微调差异的影响。根据这些优点和缺点，我们提出了XLNet，一种广义自回归预训练方法，它（1）通过最大化分解阶的所有排列的预期可能性来学习双向上下文，并且（2）由于其自回归性，克服了BERT的局限性。此外，XLNet将最先进的自回归模型Transformer-XL的创意整合到预训练中。根据实验，XLNet在20个任务上的表现优于BERT，且都有大幅度提升，并在18个任务中实现最先进的结果，包括问答，自然语言推理，情感分析和文档排名。

无监督表示学习在自然语言处理领域非常成功[7,19,24,25,10]。通常，这些方法首先在大规模标记的文本语料库上预先训练神经网络，然后对下游任务的模型或表示进行微调。在这个共享的高层次思想下，文献中探讨了不同的无监督预训练目标。其中，自回归（AR）语言建模和自动编码（AE）是两个最成功的预训练目标.

详见：https://blog.csdn.net/qq_31456593/article/details/93015488