BERT：Pre-training of Deep Bidirectional Transformer for Language Understanding
谷歌AI团队发布，在机器阅读理解SQuAD1.1跑出的成绩，在两个指标上全面超越人类。
GLUE基准80.04%（7.6%绝对提升），MultiNLI准确率86.7%（5.6%绝对提升）
BERT= Bidirectional Encoder Representation from Transformers
Pre-training Objective : MLM（Masked Language Model）, 随机mask input中一些tokens，目标就是根据context去预测mask位置原始的词汇id
除了MLM，引入next sentence prediction 任务联合训练pair级别的特征表示
贡献点：
1、证明了bidirectional对文本特征表示的重要性
2、证明了预训练的特征表示能够消除很多繁重的任务相关的网络结构
3、11个NLP任务上，提升了state of art水平
应用预训练模型的两个方案：
1、Feature based
ELMo方法希望通过语言模型提取上下文敏感的表示特征，把任务相关的结构和上下文word embedding结合起来.
2、Fine-tuning
在有监督的fine-tune指定任务前，先通过语言模型LM的目标，预训练模型
BERT核心
模型架构
双向的叫Transfer Encoder
单向的叫Transfer Decoder
BERT vs OpenAI GPT vs ELMo
输入表示Input Representation
多个Sentence可以拼成一个sentence
token Representation = token embedding + segment（句） + position embedding
1）tokens embedding用WordPiece embedding（Wu et al., 2016），3w token词汇
2）positional embedding支持序列长度到512个tokens
3）Segment embedding，第一句所有token都用A代替，第二句都用B代替
Pre-training 任务
不用传统的左向右或者右向左的LM来预训练 BERT，采用两个新的无监督的预测任务来实现预训练。
1）任务一：Masked LM
15%的比例，在每个sequence中，随机的mask掉 WordPiece中的tokens；同时也只predict被mask掉的位置上的words
这个方法有2个缺点downsides:
A：因为[MASK]字符在fine-tuning阶段根本不会存在，所以在pre-training阶段用[MASK]代替原来的word参与训练，会到只pre-training和fine-tuning阶段mismatch。
解决办法是：在整体15%的随机中，有80%用[MASK]替换选中的word，10%用一个随机的word代替选中的word，剩下10%的比例保持选中的word不变
B：因为在每一轮训练（each batch）只有15%的tokens会被预测，pre-training阶段的模型收敛就需要迭代更多的steps（相比于单向的模型，预测所有的word被预测）
2）任务二：Next Sentence Prediction
理解2个text sentence之间的relationship，这个relation是不能直接用LM模型学习到的。
构建有一个2分类任务binarized next sentence prediction task，训练数据可以从任何一个单语种的语料库中生成：对于AB两个sentence，50%的概率B就是实际在A后面的sentence，另外50%的概率B是从语料中随机选择的一个sentence。
最终这个任务的Accuracy达到97%~98%
Pre-training过程
数据：BooksCorpus（800M words） + English Wikipedia（2500M words）
Wikipedia的数据只取text段落，忽略列表、表格等
从语料中，抽样2个spans作为sentence，第一个sentence作为A Embeding，第二个作为B Embeding；50%的概率B是实际的sentence，另外50% B是随机sentence.
抽样时保证A+B的长度<512 tokens
LM masking：在用wordpiece 分词（tokenization）后，均匀按15%的比例（rate）mask掉其中的tokens。没有任何特殊的操作。
batchsize = 256 sequence（256*512tokens = 128,000 tokens/batch）
steps=1,000,000 （40 epochs / 3.3 billion word corpus）
Adam lr=1e-4, beta1=0.9 beta2=0.999
L2 weight decay = 0.01
lr adj step = 10,000 steps, linear decay
dropout p=0.1 all layers
activation = gelu （不是relu）
Loss = mean masked LM Likelihood + mean next sentence prediction likelihood
Fine-tuning过程
A：sequence Level的分类任务
为了得到一个固定维度的整句特征表示，直接取第一个token（[CLS]）的final hidden state（Transformer output），记作C。后面唯一需要加一个分类层W
P= softmax(CW)
BERT 和 W的所有参数，一起finetune
B：span-level 和 token-level的预测任务
需要针对任务做微小的调整
batch size、lr和 epochs不同，其他超参大部分相同
C：SQuAD v1.1——StandFord Question Answering Dataset
100K QA pairs
给定一个问题Q，以及一段包含答案A的文字段落paragraph，任务的目标是预测在段落中，是答案文本段span
做法：
a）将question和paragraph合并成一个sequence的特征表示，Q用A Embeding，P用B Embeding。
b）需要学习的新参数是一个起始向量S，以及一个结束向量E。每个token对应的Ti代表最后的hidden vector。
i是Answer起始位置的概率是P = softmax(S·T)，对Ti和S的dot product做softmax
对结束位置的计算也用同样的公式
fine-tune 3 epochs, lr = 5e-5, batchsize = 32
在Inference阶段，因为end predict并不依赖start predict，所以需要加一个约束：end要在start之后。除了这个，再没有其他启发式heuristic的规则。
D：命名实体识别 CoNLL数据集
200k words，标记为5个entity类别：Person、Organization、Location、Miscellaneous、Other
每个Ti单独input进一个分类layer，预测时不依赖两边其他词的预测。