【笔记】书生·浦语大模型实战营——第四课（XTuner 大模型单卡低成本微调实战）

【参考：tutorial/xtuner/README.md at main · InternLM/tutorial】
【参考：(4)XTuner 大模型单卡低成本微调实战_哔哩哔哩_bilibili-【OpenMMLab】】

总结

• 学到了

linux系统中 tmux 的使用

• 了解了

XTuner 大模型微调框架的使用
pth格式参数转Hugging Face格式
Merge模型参数

学习记录

tmux

apt update -y  # 更新源

apt install tmux -y # 安装

tmux new -s finetune # 新建一个名称为finetune的session

现在进入了finetune的session

按ctrl+b 然后放开按键，再按d，离开

tmux attach -t finetune  # 回到finetune


输入
xtuner train ./internlm_chat_7b_qlora_oasst1_e3_copy.py --deepspeed deepspeed_zero2

作业

【参考：tutorial/xtuner/self.md at main · InternLM/tutorial】

在本地终端输入以下指令.
6006是在服务器中打开的端口，而35144是根据开发机的端口进行更改。

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 35144 

数据2000条，2个epoch，感觉不太行

数据10000条，3个epoch