[论文笔记]MacBERT

引言

今天带来MacBERT的阅读笔记。论文题目是 重新审视中文自然语言处理的预训练模型。

本篇主要是探讨中文预训练语言模型在非英文语言中的有效性,然后提出了一种简单而有效的模型,称为MacBERT,它在多个方面改进了RoBERTa,特别是采用纠错型掩码语言模型(MLM as correction,Mac)的掩码策略。

通过实验表明MacBERT在很多NLP任务中能取得SOTA结果。

总体介绍

BERT已经变成NLP领域的新的基础组件。从BERT开始,人们在优化预训练语言模型方面取得了巨大而迅速的进展。比如ERINE1、XLNet2、RoBERTa3、SpanBERT4、ALBERT5、ELECTRA6等。

然而相比我们过去训练词嵌入或其他传统的神经网络,训练基于Transformer的模型没那么容易。比如,训练一个BERT-large,它有330M参数包含24层Transformer,训练起来非常昂贵。虽然很多预训练语言模的变种被提

你可能感兴趣的:(论文翻译/笔记,MacBERT)