如何使用PyTorch训练LLM
推荐：使用 NSDT场景编辑器 快速搭建3D应用场景
像LangChain这样的库促进了上述端到端AI应用程序的实现。我们的教程介绍 LangChain for Data Engineering & Data Applications 概述了您可以使用 Langchain 做什么，包括 LangChain 解决的问题，以及数据用例的示例。
本文将解释训练大型语言模型的所有过程，从设置工作区到使用 Pytorch 2.0.1 的最终实现，Pytorch <>.<>.<> 是一个动态且灵活的深度学习框架，允许简单明了的模型实现。
先决条件
为了充分利用这些内容，重要的是要熟悉 Python 编程，对深度学习概念和转换器有基本的了解，并熟悉 Pytorch 框架。完整的源代码将在GitHub上提供。
在深入研究核心实现之前，我们需要安装和导入相关库。此外，重要的是要注意，训练脚本的灵感来自 Hugging Face 中的这个存储库。
库安装
安装过程详述如下：
首先，我们使用语句在单个单元格中运行安装命令作为 Jupyter 笔记本中的 bash 命令。%%bash
- Trl：用于通过强化学习训练转换器语言模型。
- Peft使用参数高效微调（PEFT）方法来有效地适应预训练的模型。
- Torch：一个广泛使用的开源机器学习库。
- 数据集：用于帮助下载和加载许多常见的机器学习数据集。
变形金刚：由Hugging Face开发的库，带有数千个预训练模型，用于各种基于文本的任务，如分类，摘要和翻译。
现在，可以按如下方式导入这些模块：
数据加载和准备
羊驼数据集，在拥抱脸上免费提供，将用于此插图。数据集有三个主要列：指令、输入和输出。这些列组合在一起以生成最终文本列。
加载数据集的指令在下面通过提供感兴趣的数据集的名称给出，即：tatsu-lab/alpaca
我们可以看到，结果数据位于包含两个键的字典中：
- 特点：包含主列数据
- Num_rows：对应于数据中的总行数
train_dataset的结构
可以使用以下说明显示前五行。首先，将字典转换为熊猫数据帧，然后显示行。
train_dataset的前五行
为了获得更好的可视化效果，让我们打印有关前三行的信息，但在此之前，我们需要安装库以将每行的最大字数设置为 50。第一个 print 语句用 15 个短划线分隔每个块。textwrap
前三行的详细信息
模型训练
在继续训练模型之前，我们需要设置一些先决条件：
- 预训练模型：我们将使用预训练模型Salesforce/xgen-7b-8k-base，该模型可在Hugging Face上使用。Salesforce 训练了这一系列名为 XGen-7B 的 7B LLM，对高达 8K 的序列进行了标准的密集关注，最多可获得 1.5T 代币。
- 分词器： 这是训练数据上的标记化任务所必需的。加载预训练模型和分词器的代码如下：
pretrained_model_name = "Salesforce/xgen-7b-8k-base"
model = AutoModelForCausalLM.from_pretrained(pretrained_model_name, torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name, trust_remote_code=True)
训练配置
训练需要一些训练参数和配置，下面定义了两个重要的配置对象，一个是 TrainingArguments 的实例，一个是 LoraConfig 模型的实例，最后是 SFTTrainer 模型。
训练参数
这用于定义模型训练的参数。
在此特定场景中，我们首先使用属性定义存储训练模型的目标，然后再定义其他超参数，例如优化方法、优化方法、、 等。output_dirlearning ratenumber of epochs
洛拉康菲格
用于此方案的主要参数是 LoRA 中低秩转换矩阵的秩， 设置为 16.然后， LoRA 中其他参数的比例因子设置为 32.
此外，辍学比率为 0.05，这意味着在训练期间将忽略 5% 的输入单元。最后，由于我们正在处理一个普通语言建模，因此该任务使用属性进行初始化。CAUSAL_LM
SFTTrainer
这旨在使用训练数据、分词器和附加信息（如上述模型）来训练模型。
由于我们使用训练数据中的文本字段，因此查看分布以帮助设置给定序列中的最大令牌数非常重要。
文本列长度的分布
基于上述观察，我们可以看到大多数文本的长度在 0 到 1000 之间。此外，我们可以在下面看到，只有 4.5% 的文本文档的长度大于 1024。
mask = pandas_format['text_length'] > 1024
percentage = (mask.sum() / pandas_format['text_length'].count()) * 100
print(f"The percentage of text documents with a length greater than 1024 is: {percentage}%")
然后，我们将序列中的最大标记数设置为 1024，以便任何比此长度的文本都被截断。
培训执行
满足所有先决条件后，我们现在可以按如下方式运行模型的训练过程：
值得一提的是，此培训是在具有GPU的云环境中进行的，这使得整个培训过程更快。但是，在本地计算机上进行培训需要更多时间才能完成。
我们的博客，在云中使用LLM与在本地运行LLM的优缺点，提供了为LLM选择最佳部署策略的关键考虑因素
让我们了解上面的代码片段中发生了什么：
- tokenizer.pad_token = tokenizer.eos_token：将填充标记设置为与句尾标记相同。
- model.resize_token_embeddings（len（tokenizer））：调整模型的标记嵌入层的大小，以匹配分词器词汇表的长度。
- model = prepare_model_for_int8_training（model）：准备模型以进行 INT8 精度的训练，可能执行量化。
- model = get_peft_model（model， lora_peft_config）：根据 PEFT 配置调整给定的模型。
- training_args = model_training_args：将预定义的训练参数分配给training_args。
- trainer = SFT_trainer：将 SFTTrainer 实例分配给变量训练器。
- trainer.train（）：根据提供的规范触发模型的训练过程。
结论
本文提供了使用 PyTorch 训练大型语言模型的明确指南。从数据集准备开始，它演练了准备先决条件、设置训练器以及最后运行训练过程的步骤。
尽管它使用了特定的数据集和预先训练的模型，但对于任何其他兼容选项，该过程应该大致相同。现在您已经了解如何训练LLM，您可以利用这些知识为各种NLP任务训练其他复杂的模型。
原文链接：如何使用PyTorch训练LLM (mvrlink.com)