7.0 BERT入门

1. BERT简介

BERT(Bidirectional Encoder Representations from Transformers)整体上是由多层Transformer Encoder堆叠形成，架构上没有太大的新意，所谓的“Bidirectional”其实指的也就是Transformer中的self-attention机制。
使用预训练(pre-train)好的BERT模型做一些下游任务(Downstream tasks)的时候，对参数做一些微调(fine-tune)，可以取得很好的效果。实验证明，使用BERT预训练的参数，相对于完全随机初始化参数，损失函数下降得更快、更低。
BERT在一些自然语言训练集上可以取得超过人类的表现。

2. BERT预训练的两个任务

为了能够更好训练BERT网络，论文作者在BERT的训练过程中引入两个任务，MLM和NSP。

2.1 基于掩盖的语言模型(Masked Language Model, MLM)

做法是随机掩盖掉输入序列中的Token（即用“[MASK]”或者随机的Token替换掉原有的Token），然后在BERT的输出结果中取对应掩盖位置上的向量进行真实值预测。

2.2 下句预测(Next Sentence Prediction)

对于每个样本来说都是由A和B两句话构成，其中的情况B确实为A的下一句话（标签为IsNext），另外的的情况是B为语料中其它的随机句子（标签为NotNext），然后模型来预测B是否为A的下一句话。
网络架构如下图：只在第一个句子前的special token(CLS)对应的位置输出的向量进行二分类预测。

3. 常见的下游任务

3.1 输入序列，输出类别

比如情感分析(Sentiment analysis)。在第一个位置CLS输出的向量上进行分类预测。BERT模型参数为预训练的参数，外层为随机初始化的参数。

3.2 输入序列，输出为同等长度的序列

比如词性标注(POS tagging)。第一个位置CLS不输出向量。

3.3 输入两个序列，输出类别

比如自然语言推断(Natural Language Inference)。输出为两个句子的关系，比如相关、中立、矛盾等关系。

3.4 问答系统(Question Answering)

输入为问题和对应答案所在文档的序列，输出为答案开始的索引s和结束的索引e。
两个与输出向量等维度的随机初始化向量分别对应开始和结束。两个向量分别与文档输出的向量进行内积，然后进行softmax操作，最大的softmax值对应的索引即为开始和结束的索引。

4. BERT为什么有效

BERT的输出向量可以看成是该输入单词的embedding，包含该单词的含义。有相似含义的单词的embedding也比较接近，比如鸟和鱼都是动物，他们的嵌入向量(embedding)就比较相似。
衡量两个向量(对应输入的单词)相似度的指标是余弦相似度(cosine similarity)，即两个向量夹角的余弦值。
同时，BERT输出的embedding也包含了该词上下文的信息(因为里面的自注意力机制)。比如苹果的果和苹果手机的果，他们的embedding是不同的，因为含义不同，这说明BERT可以提取上下文的信息。