XTuner 大模型单卡低成本微调实战

参考教程：XTuner

Finetune简介

LLM的下游应用任务中，增量预训练和指令跟随是经常会用到的两种微调模式

增量预训练微调

使用场景：让基座模型学习到一些新知识，如某个垂直领域的常识
训练数据：文章、代码、书籍等

指令跟随微调

使用场景：让模型学会对话模版，根据人类指令进行对话
训练数据：高质量的对话、问答数据

在实际对话时，经常有三种角色

• system 给定一些上下文信息 比如：你是一个xxx
• user 实际用户 给提出一些问题
• Assistant 根据user的输入，结合system的上下文信息 作出回答
  
  

LoRA

LoRA是通过在原本的Linear旁，新增一个支路，包含两个连续的小Linear 新增的这个支路通常叫做Adapter
Adapter参数远小于原本的Linear 能大幅减低训练的显存消耗。

XTuner介绍

功能亮点

适配多种生态

• 多种微调算法
• 适配多种开源生态
• 自动优化加速
  

8GB显存玩转LLM

Flash Attention 和 DeepSpeed ZeRO是XTuner最重要的两个优化技巧

Flash Attention

将Attention计算并行化 避免了计算过程中Attention Score NxN的显存占用

DeepSpeed ZeRO

通过将训练过程中的参数、梯度和优化器状态切片保存，能够在多GPU训练时使用FP16的权重，相较于Pytorch的AMP训练，在单GPU上也能大幅节省显存

上手操作

平台

Ubuntu + Anaconda + CUDA/CUDNN + 8GB nvidia显卡

激活环境

conda create --name xtuner0.1.9 python=3.10 -y
mkdir xtuner019 && cd xtuner019
git clone -b v0.1.9  https://github.com/InternLM/xtuner
# 进入源码目录
cd xtuner

# 从源码安装 XTuner
pip install -e '.[all]'

准备在 oasst1 数据集上微调 internlm-7b-chat

# 创建一个微调 oasst1 数据集的工作路径，进入
mkdir ~/ft-oasst1 && cd ~/ft-oasst1

微调

准备配置文件

XTuner 提供多个开箱即用的配置文件，用户可以通过下列命令查看：
# 列出所有内置配置
xtuner list-cfg

假如显示bash: xtuner: command not found的话可以考虑在终端输入 export PATH=$PATH:‘/root/.local/bin’
拷贝一个配置文件到当前目录： # xtuner copy-cfg ${CONFIG_NAME} ${SAVE_PATH}

cd ~/ft-oasst1
xtuner copy-cfg internlm_chat_7b_qlora_oasst1_e3 .

配置文件名的解释：