BERT学习汇总（视频）

（先大致了解一下整体性的框架，然后再进一步深究，最终彻底明白这个模型）

一、介绍bert模型

        BERT就是12层的Transformer的Encoder的组合。分为预训练（pre-training）与微调（Fine-tune）。

        预训练：简单来说就是通过两个任务联合训练得到bert模型。（NSP & MLM)

       微调：在得到bert模型基础上进行各种各样的NLP任务（下游任务）。

      预训练（pre-training）

        输入先三个Embedding结合后，经过Bert Encoder 层编码后，进行了NLM与NSP的任务（这两个任务是同时进行的吗？），产生一个联合训练的损失函数，从而迭代更新整个模型之中的参数。

        MLM：Masked Language Modeling，遮盖句子中的若干词，通过周围的词去预测被遮盖的词。（完形填空）

        NSP：Next Sentence Prediction，判断句子B在文章中是否属于句子A的下一个句子。

 INPUT以及BERT ENCODER

        MLM(完形填空) 

         MLM层的输入：Bert Encoder层的输出，以及需要预测词元位置。（就是要预测单词的位置，它的形状是[batch_size,词元位置数量]）

    NSP

 

预训练

  微调（fine tune） 

         11个任务，分为4大类