06.构建大型语言模型步骤

在本章中,我们为理解LLMs奠定了基础。在本书的其余部分,我们将从头开始编写一个代码。我们将以 GPT 背后的基本思想为蓝图,分三个阶段解决这个问题,如图 1.9 所示。

图 1.9 本书中介绍的构建LLMs阶段包括实现LLM架构和数据准备过程、预训练以创建基础模型,以及微调基础模型以LLM成为个人助理或文本分类器

06.构建大型语言模型步骤_第1张图片

首先,我们将了解基本的数据预处理步骤,并编写每个 LLM.

接下来,在第 2 阶段,我们将学习如何编码和预训练能够生成新文本的类似 LLM GPT。我们还将介绍评估LLMs的基础知识,这对于开发有能力的 NLP 系统至关重要。

请注意,从头开始预训练大型LLM模型是一项艰巨的工作,需要数千到数百万美元的计算成本才能获得类似 GPT 的模型。因此,第 2 阶段的重点是使用小型数据集实施用于教育目的的培训。此外,本书还将提供用于加载公开可用的模型权重的代码示例。

最后,在第 3 阶段,我们将进行预训练LLM并对其进行微调,以遵循回答查询或对文本进行分类等指令——这是许多实际应用和研究中最常见的任务。

LLMs改变了自然语言处理领域,该领域以前依赖于明确的基于规则的系统和更简单的统计方法。LLMs引入了新的深度学习驱动方法,导致了理解、生成和翻译人类语言的进步。

  • <

你可能感兴趣的:(语言模型,人工智能,自然语言处理)