【书生·浦语】大模型实战营——第四课笔记
教程链接：https://github.com/InternLM/tutorial/blob/main/xtuner/README.md
视频链接：https://www.bilibili.com/video/BV1yK4y1B75J/?vd_source=5d94ee72ede352cb2dfc19e4694f7622
本次视频的内容分为以下四部分：
目录
微调简介
微调会使LLM在具体的领域中输出更好的回答。有两种微调模式：
1、增量预训练微调：学会垂类领域的常识（只需要回答）
2、指令跟随微调：学会对话模板（一问一答）
场景与所需的训练数据不一样。
实际对话时，通常会存在三种角色：
1、System：要求系统担任一个具体的角色
2、User：用户进行提问
3、Assistant：根据user输入，结合system上下文，做出回答
这些机械性的工作已经用xtuner打包好了，一键启动即可。
指令跟随微调时，不同的对话模板
不同的模型在微调时的数据会使用不同的prompt模板。
比如LlaMa2，会用sys的块来表示system内容，INST的块来表示User指令部分。而InternLM的模板则有五个。
而在部署时，system部分是由模板自动添加的，用户的输入则放入user部分，而system部分使用的模板可以自行更改。
增量预训练微调
只需要计算assistant部分的损失
微调原理
原来的大模型权重参数主要集中于linear中，这个linear形状非常大，如果对其进行微调，那么所需的显存非常高，训练非常贵。
lora是在原来的linear旁边加了一个支路（由两个小的linear组成），通常叫作Adapter。
微调时只对Adapter进行训练，而预训练的权重冻住，就能降低很多显存占用。
QLoRA是加载模型时使用4bit量化的方式进行加载。
正常模型训练时一般都是使用float32，相当于降低了精度。降低了表达精度，自然能力会下降些。
XTuner微调框架
简介图片就不介绍了。
xtuner数据引擎弄了很多个数据集的映射函数，方便开发者多关注模型，不用费心处理数据格式。
当显卡显存更大时，当然要尽可能利用显卡的资源，增加其并行性。这里xtuner可以做多样本的数据拼接，一下子输入好几个数据，占满显存，提升效率。
8GB显存玩转LLM
Flash Attention和DeepSpeed ZeRO是xtuner最重要的两个优化技巧。
动手实战环节
ssh连接开发机后敲bash进入环境。
创建环境与激活
敲入以下命令，新建一个conda环境，这个环境叫xtuner0.1.9
conda create --name xtuner0.1.9 python=3.10 -y
键入以下命令，进入环境
conda activate xtuner0.1.9
安装xtuner源码
下载过程会有点久，需要耐心等待。
下载完成后，创建一个微调 oasst1 数据集的工作路径，进入
mkdir ~/ft-oasst1 && cd ~/ft-oasst1
微调
准备配置文件
xtuner list-cfg
可以列出所有内置的配置文件。如下图所示
其中，每个字符串的含义如下：
第一个字符串代表是哪个大模型，如baichuan2
第二个字符串代表模型参数，如13B
第三个字符串代表模型类型，如base基座模型或chat聊天模型
第四个字符串代表微调算法，使用lora还是qlora还是全参数微调
第五个字符串代表在哪个数据集上微调，如alpaca
第六个字符串代表跑几个epoch
通过xtuner的copy-cfg命令拷贝一个配置文件到指定目录中，是internlm7b，用qlora微调，在oasst1数据集上微调，跑3个epoch
这个过程会比较久，要等一两分钟。
模型下载
用教学平台的同学直接从目录中进行复制
数据集下载
本身数据集在hugging face上，平台已经提前下载好放到share目录里了。直接拷贝即可。
修改配置文件
修改配置文件py里的预训练模型路径和数据路径。
再改epoch参数为1
常用的超参对应的意义
其中max_length和batch_size可以调整所占用的显卡资源。
开始微调
使用以下命令进行微调：
xtuner train ./internlm_chat_7b_qlora_oasst1_e3_copy.py
其中的warning信息不用理。
上图的loading shards指的是加载基座模型的过程。
接下来在准备数据集。
可以看到下图中有个map。Map操作就是将数据集映射到标准训练格式，User，System啥的
看到这个Epoch(train)就说明微调已经开始了。其中eta是剩余的训练时间。这里看到是4：21：51，要接近4个半小时。
此时按Ctrl+C，终止微调过程。我们发现，微调时会多出一个目录叫work_dirs，存储微调时的日志文件。
在进行下一次训练时，最好先删除上次的工作路径。
加上deepspeed参数来加速训练。我们可以从下图看到，加速后的微调预计的剩余时间直接减少了三倍多，变成1：16：44了。可见deepspeed加速训练的效果。
为了保持训练不被中断，引入tmux这个库，引入守护进程。
使用tmux创建一个会话，命令如下
tmux new -s finetune
这个时候进入了一个全新的界面，此时属于一个tmux session中，这个session叫finetune
此时按Ctrl+B，手指松开再按D就可以推出tmux的窗口。
如何重新进入这个session呢？输入tmux attach -t finetune命令即可。
此时再输入训练命令（带deepspeed参数的），就不怕训练被打断了。
xtuner train ./internlm_chat_7b_qlora_oasst1_e3_copy.py --deepspeed deepspeed_zero2
此时可以随便进入、退出这个tmux窗口。
一个小时后见！
好的，睡得有点迷糊，感觉睡晕过去了。
tmux窗口中看到类似这样的输出，就算训练成功了。
查看微调后的目录文件
从目录中可以看到一个pth结尾的文件，pth通常是模型参数文件的后缀，因为只训练了一个epoch，所以这里只有一个epoch_1的模型文件。
还可以进入以日期命名的目录，这里存放了日志文件，可以cat进行查看。
将得到的pth模型文件转换为hugging face的lora模型
当看到All done! 时，说明转换已经成功。
这个adapter_model.safetensors就是hugging face的lora模型。
部署与测试
将huggingface adapter合并到大语言模型
敲入以下命令并耐心等待，看到All Done，即转换成功。
可以查看merged目录（合并后的目录）有的文件
与合并后的模型进行对话
敲以下命令并耐心等待
当看见double enter to end input，就可以开始对话了。输完问题后，需要敲两次回车才能开始回复。
从资源监控我们可以看到，占用了17G的显存。
这里可以载入4bit量化后的模型，看看差异。
实际运行时，可以看到4bit量化的模型，回答速度非常快。
