经典论文阅读（4）——BERT

BERT依赖于所有层的上下文进行预训练，学习深度双向表征。

屏蔽语言模型MLM随机屏蔽了输入中的一些标记，其目的是根据上下文预测被屏蔽的单词。MLM的目标是将表征融合上下文，以预训练一个深度双向Transformer。除了MLM，还用了一个“下一句预测”任务联合预训练文本对表示。

输入表征

一个输入token的表征为相应的token embedding、segment embedding、position embedding相加。

预训练BERT

利用MLM和NSP两个无监督任务对BERT进行预训练。

任务1：MLM

直观上，一个深度双向模型比left-to-right模型或left-to-right模型和right-to-left模型的浅层concat更加强大。但是标准的条件语言模型必须从左向右和从右向左训练，而双向条件语言模型允许间接”看到自己“。为解决该问题，随机选取15%的单词替换为[MASK]进行预测。由于微调时不会出现[MASK]字符，与预训练不匹配，因此在这15%的单词中：1）80%的替换为[MASK]；2）10%的随机替换为其他单词；3）10%的为原单词。

任务2：NSP

选取句子A和B作为一个训练样本，B有50%的概率为真实的下一句（IsNext），有50%的概率为语料中随机选取的下一句（NotNext）。

包含12个Transformer block，12个self-attention头，隐藏层维度为768

包含24个Transformer block，16个self-attention头，隐藏层维度为1024

精调BERT

对于每个任务，我们只需将特定于任务的输入和输出插入BERT中，然后端到端微调所有参数。