ChatGLM 如何应用一个BERT

前言

        接着上一小节，我们对Huggingface开源代码库中的Bert模型进行了深入学习，这一节我们对如何应用BERT进行详细的讲解。

        涉及到的jupyter可以在代码库：篇章3-编写一个Transformer模型：BERT，下载

        本文基于 Transformers 版本 4.4.2（2021 年 3 月 19 日发布）项目中，pytorch 版的 BERT 相关代码，从代码结构、具体实现与原理，以及使用的角度进行分析，包含以下内容：

• BERT-based Models应用模型
• BERT训练和优化
• Bert解决NLP任务
• BertForSequenceClassification
• BertForMultiChoice
• BertForTokenClassification
• BertForQuestionAnswering
• BERT训练与优化
• Pre-Training
• Fine-Tuning
• AdamW
• Warmup

3-BERT-based Models

        基于 BERT 的模型都写在/models/bert/modeling_bert.py里面，包括 BERT 预训练模型和 BERT 分类等模型。

        首先，以下所有的模型都是基于BertPreTrainedModel这一抽象基类的，而后者则基于一个更大的基类PreTrainedModel。这里我们关注BertPreTrainedModel的功能：

        用于初始化模型权重，同时维护继承自PreTrainedModel的一些标记身份或者加载模型时的类变量。