大模型学习之书生·浦语大模型4——基于Xtuner大模型微调实战

基于Xtuner大模型微调实战

Fintune简介

• 海量数据训练的base model
• 指令微调Instructed LLM

增量预训练微调

增量数据不需要问题，只需要答案，只需要陈述类的数据

指令跟随微调

• 指定角色
• 指定问题给对应的user
• 指定答案给assistant

• LIaMa2
• InternLM
  不同的模型有不同的模板

只对答案部分进行损失计算

LoRA & QLoRA

• LoRA在原本模型旁新增两个小的分支，旁路分支的参数Adapter
• 参数远远小于原本模型的参数

• 全参数训练：加载到显存中会占用大量的内存
• LoRA：只加载部分参数
• QLoRA：先进行量化再加载

XTuner

快速上手

自定义训练

训练好之后得到Adapter参数文件，在启动的时候，既要加载原始基座模型，同时也要加载训练好的Adapter模型文件

• 类似于gpt中的Plugin，专业的工具类模型

数据处理引擎

• 集成了很多映射函数，省掉开发的很多工作

• 支持数据拼接，增强并行性，充分利用大显存

• json格式数据集

8GB显存玩转LLM

• 默认开启Flash Attention
• 集成了DeepSpeed

动手实践环节

创建服务器

并配置本地公钥

创建虚拟环境

微调

准备配置文件

• 采用qlora_oasst1_e3

模型下载

数据集下载

修改配置文件

• 修改模型路径
• 修改数据集路径
• max_epochs = 1 节省时间及算力

超参

开始微调

• 训练非常耗时
• 可以使用deepspeed加速
• 可以使用tmux起训练，避免中断

将得到的模型文件转换成HuggingFace模型

部署与测试

• 注意不同的模型有不同的template

Demo

• 修改模型文件
  
  
• 对比微调前和微调后的模型
  
• 启动参数

自定义微调

• 数据集 Medication QA

准备数据

转化为XTuner数据格式

• 可以利用gpt帮忙写代码
  
  

划分训练集和测试集

开始自定义微调

• 修改配置文件：模型文件路径，数据集路径

• 启动训练
• 加入deepspeed加速
• 将得到的模型转成huggface格式

用MS-Agent赋予LLM Agent能力

MS-Agent包含大量这样的数据，可以基于这样的数据训练具有这样能力的LLM

• 下载Adapter
  
• 添加请求服务的API插件
  
• 俩模型可以merge
• 也可以adapter参数
  
  
• 注释掉该语句

• API调用有问题

参考

• Xtuner