构建语言模型：BERT 分步实施指南

 学习目标

• 了解 BERT 的架构和组件。
• 了解 BERT 输入所需的预处理步骤以及如何处理不同的输入序列长度。
• 获得使用 TensorFlow 或 PyTorch 等流行机器学习框架实施 BERT 的实践知识。
• 了解如何针对特定下游任务（例如文本分类或命名实体识别）微调 BERT。

为什么我们需要 BERT？

正确的语言表示是机器掌握通用语言的能力。像word2Vec或 Glove这样的上下文无关模型会为词汇表中的每个单词生成一个单词嵌入表示。例如，术语“起重机”在“天空中的起重机”和“举起重物的起重机”中具有精确的表示形式。上下文模型根据句子中的其他单词来表示每个单词。所以 BERT 是一个上下文模型，可以双向捕获这些关系。

BERT 基于预训练上下文表示方面的最新工作和巧妙想法，包括半监督序列学习、生成预训练、ELMo、OpenAI Transformer、ULMFit 和 Transf