0基础快速上手---大语言模型微调（shell版）

0基础快速上手大语言模型微调—基于“第2届·百度搜索创新大赛——搜索答案组织”微调结果分析

微调实战经历

本次微调经验分享依据于我们在2023年参加的“第2届·百度搜索创新大赛——搜索答案组织”整个比赛过程。
我们团队选择的基座模型是ChatGLM3-6B-Base模型，训练数据集为官方提供的数据集（9000条）,训练方法为LORA sft 监督微调。
最终结果：score 36.12--ROUGE-L 41.03--BLEU-4 31.22,东三省排名第1名,全国最终排名为44/220.

书接上文0基础快速上手—大语言模型微调（web版）
本博主大语言模型系列：
Chatglm3-6B Chat/Base保姆级本地部署以及工具调用
国产大模型LLM 魔搭社区|阿里云服务器部署

Paddle 飞桨微调

环境准备

需要将整个代码，项目依赖，模型权重全部移植到Paddle工作台上。

数据集准备

与web端准备数据集一致

shell命令

使用监督sft模型进行微调的训练

CUDA_VISIBLE_DEVICES=0 python work/jwx/ChatGLM-Efficient-Tuning-main/src/train_bash.py \
    --stage sft \ #微调方式
    --model_name_or_path work/jwx/ChatGLM3-main/model \ #模型路径
    --do_train  \
    --dataset_dir work/jwx/ChatGLM-Efficient-Tuning-main/data \ #数据集文件夹
    --dataset baidu_dev,baidu_train \ # 数据集
    --finetuning_type lora \ #微调方法
    --max_source_length 2048 \ #最大长度
    --max_target_length 512 \
    --learning_rate 3e-05 \ #学习率
    --num_train_epochs 3.0 \ #学习轮数
    --max_samples 10000 \
    --lora_rank 8 \ #lora训练的秩
    --lora_dropout 0.1 \
    --lora_target q_proj,v_proj \ #lora作用层
    --resume_lora_training True \
    --output_dir saves/output \ #输出微调的文件夹
    --fp16 True \ #开启fp16微调
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \ 
    --lr_scheduler_type cosine \
    --max_grad_norm 1.0 \
    --logging_steps 5 \
    --save_steps 1000 \

对于所有“基座”（Base）模型，–template 参数可以是 default, alpaca, vicuna 等任意值。但“对话”（Chat）模型请务必使用对应的模板。
更多参数信息

合并模型并导出

python src/export_model.py \
    --model_name_or_path work/jwx/ChatGLM3-main/model \
    --adapter_name_or_path saves/output \
    --template default \
    --finetuning_type lora \
    --export_dir path_to_export \
    --export_size 7 \
    --export_legacy_format False

心得分享

下面我将本次比赛微调训练的得分的过程分享给大家

基座模型	微调方法	得分
ChatGLM3-6B Chat	不进行微调	26.54
ChatGLM3-6B Chat	改善prompt	27.52
ChatGLM3-6B Chat	ptuning	28.86
ChatGLM3-6B Chat	奖励模型训练	26.78
ChatGLM3-6B Chat	监督模型训练	30.54
ChatGLM3-6B Base	监督模型训练	34.14
ChatGLM3-6B Base	监督模型训练+prompt	36.12

如果以上有什么不对，请批评指正，也欢迎各位大佬分享更高效的微调方法

参考资料

LLaMA Board: 通过一站式网页界面快速上手 LLaMA Factory