BERT家族：BERT-WWM

BERT-WWM

论文：《Pre-Training with WholeWord Masking for Chinese BERT》

论文地址：https://arxiv.org/pdf/1906.08101

作者/机构：讯飞+哈工大

年份：2019.7

BERT-WWM对Bert的改进主要体现在mask的方式上，使用全词mask。其改进点如下：

与百度ERNIE相比，BERT-WWM不仅仅是连续mask实体词和短语，而是连续mask所有能组成中文词语的字。具体做法是，针对中文，如果一个完整的词的部分字被mask，则同属该词的其他部分也会被mask，即对组成同一个词的汉字全部进行Mask，即为全词Mask。

这样做的目的是：预训练过程中，模型能够学习到词的语义信息，训练完成后字的embedding就具有了词的语义信息了，这对各类中文NLP任务都是友好的。

更多NLP相关技术干货，请关注我的微信公众号【NLP有品】