BERT -Bidirectional Encoder Representation from Transformers[2018GoogleLab]
整体介绍Bert主要工作分为pre-traing(预训练)与fine-tuning(微调),核心工作是预训练,微调是根据down-streamtask(下游任务)进行修改即可预训练的输入:unlabelledsentencepair训练BERT的权重下游任务:创建同样的BERT的模型,权重的初始化值来自于预训练好的权重MNLI,NER,SQuAD下游任务有自己的labeleddata,对BERT继