06.构建大型语言模型步骤

在本章中，我们为理解LLMs奠定了基础。在本书的其余部分，我们将从头开始编写一个代码。我们将以 GPT 背后的基本思想为蓝图，分三个阶段解决这个问题，如图 1.9 所示。

图 1.9 本书中介绍的构建LLMs阶段包括实现LLM架构和数据准备过程、预训练以创建基础模型，以及微调基础模型以LLM成为个人助理或文本分类器。

首先，我们将了解基本的数据预处理步骤，并编写每个 LLM.

接下来，在第 2 阶段，我们将学习如何编码和预训练能够生成新文本的类似 LLM GPT。我们还将介绍评估LLMs的基础知识，这对于开发有能力的 NLP 系统至关重要。

请注意，从头开始预训练大型LLM模型是一项艰巨的工作，需要数千到数百万美元的计算成本才能获得类似 GPT 的模型。因此，第 2 阶段的重点是使用小型数据集实施用于教育目的的培训。此外，本书还将提供用于加载公开可用的模型权重的代码示例。

最后，在第 3 阶段，我们将进行预训练LLM并对其进行微调，以遵循回答查询或对文本进行分类等指令——这是许多实际应用和研究中最常见的任务。

LLMs改变了自然语言处理领域，该领域以前依赖于明确的基于规则的系统和更简单的统计方法。LLMs引入了新的深度学习驱动方法，导致了理解、生成和翻译人类语言的进步。

• <