【笔记】书生·浦语大模型实战营——第四课(XTuner 大模型单卡低成本微调实战)

【参考:tutorial/xtuner/README.md at main · InternLM/tutorial】
【参考:(4)XTuner 大模型单卡低成本微调实战_哔哩哔哩_bilibili-【OpenMMLab】】

总结

  • 学到了

linux系统中 tmux 的使用

  • 了解了

XTuner 大模型微调框架的使用
pth格式参数转Hugging Face格式
Merge模型参数

学习记录

tmux

apt update -y  # 更新源

apt install tmux -y # 安装

tmux new -s finetune # 新建一个名称为finetune的session

现在进入了finetune的session

按ctrl+b 然后放开按键,再按d,离开

tmux attach -t finetune  # 回到finetune


输入
xtuner train ./internlm_chat_7b_qlora_oasst1_e3_copy.py --deepspeed deepspeed_zero2

作业

【参考:tutorial/xtuner/self.md at main · InternLM/tutorial】

在本地终端输入以下指令.
6006是在服务器中打开的端口,而35144是根据开发机的端口进行更改。

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 35144 

数据2000条,2个epoch,感觉不太行
【笔记】书生·浦语大模型实战营——第四课(XTuner 大模型单卡低成本微调实战)_第1张图片
数据10000条,3个epoch
【笔记】书生·浦语大模型实战营——第四课(XTuner 大模型单卡低成本微调实战)_第2张图片

你可能感兴趣的:(笔记)