使用 LLaMA-Factory 对 DeepSeek R1进行微调教程

如本教程有问题，感谢大家在评论区指出。
如操作过程中遇到解决不了的问题，可以在评论区提问，作者看到了会回复。

微调简介

模型微调通过在特定任务数据集上继续训练预训练模型来进行，使得模型能够学习到与任务相关的特定领域知识。

微调步骤

• 准备数据集，数据集格式如下：
  {
  “instructions”: “你好”,
  “input”: “”,
  “output”: “你好，我是DeepseekR1模型，很高兴为您服务！”
  }

instructions：这里包含的是对模型的指示或者说是任务描述，告诉模型应该做什么。
input：这是具体的输入数据，基于上面的指示（instructions），模型将根据这部分内容来生成回答或执行特定的任务。在这个例子中，input字段是空的，意味着没有特定的额外信息或数据提供给模型处理。
output：这是模型基于instructions和input生成的回答或结果。

• 模型选择
• 迁移学习：在新数据集上继续训练模型，同时保留预训练模型的知识
• 参数调整
• 模型评估：在验证集上评估模型的性能

微调的优势

显著减少所需的数据量和计算资源

环境准备

https://modelscope.cn/my/mynotebook

LLaMA-Factory 讲解

• 下载 LLaMA-Factory 仓库

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

• 安装

cd LLaMA-Factory
pip uninstall -y vllm
pip install -e ".[torch,metrics]"

• 若出现环境冲突，执行如下命令安装

pip install --no-deps -e .

• 检查

llamafactory-cli version

• 启动

export USE_MODELSCOPE_HUB=1 && llamafactory-cli webui

配置内网穿透

https://natapp.cn

• 下载 natapp
  
• 上传到服务器

• 配置 natapp 客户端

• 在服务器执行如下命令

cd natapp
chmod a+x natapp
./natapp -authtoken=

• authtoken 通过如下位置获取
  

chmod 是 Change Mode 的缩写
a 表示 “all”（所有用户），包括文件的所有者（owner）、所属组（group）和其他用户（others）。
+x 表示为这些用户添加“可执行”权限（execute permission）。

• 访问链接

• 看到如下页面

微调实践

下载模型

export HF_ENDPOINT=https://hf-mirror.com
export HF_HOME=/mnt/workspace/huggingface
echo $HF_HOME
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
llamafactory-cli webui

进入 web-ui

deepseek-r1模型位置：

/mnt/workspace/huggingface/hub/models--deepseek-ai--DeepSeek-R1-Distill-0wen-1.5B/
snapshots/ad9f0ae0864d7fbcd1cd905e3c6c5b069cc8b562

—— 下面内容大家通过 web-ui 自己探索就好了 ～～ 这里不过多截图了 ～～

训练

• 数据集准备
  • LLaMA-Factory/data
  • dataset_info.json 所有数据集信息，在此处添加自定义数据集
    • train_data.json
    • eval_data.json
  • 使用 easy-dataset 构造数据集
    https://github.com/ConardLi/easy-dataset/blob/main/README.zh-CN.md

导出

• 导出位置：/mnt/workspace/LLaMA-Factory/merge