我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！

我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！

关于NLP那些你不知道的事 2025年01月29日 13:08

我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！

一、什么是知识蒸馏？

知识蒸馏是一种模型压缩技术，用于将大型复杂模型（教师模型）的知识迁移到小型模型（学生模型）。其核心原理是教师模型通过预测结果（如概率分布或推理过程）向学生模型传授知识，学生模型通过学习这些预测结果来提升自身性能。这种方法特别适用于资源受限的设备，如手机或嵌入式设备。

二、核心概念

2.1 模板设计

• 模板：用于规范模型输出的结构化格式，例如：

  • ：标记推理过程的开始。

  • ：标记推理过程的结束。

  • ：标记最终答案的开始。

  • ：标记最终答案的结束。

• 作用：

  • 清晰性：像填空题的“提示词”一样，告诉模型“思考过程写在这里，答案写在那里”。

  • 一致性：确保所有输出遵循相同结构，便于后续处理和分析。

  • 可读性：人类可以轻松区分推理过程和答案，提升用户体验。

2.2 推理轨迹：模型解题的“思维链”

• 推理轨迹：模型解决问题时生成的详细步骤，展示模型的逻辑链。

• 示例：

  1. 问题分析：方程的结构是否可以因式分解？
  2. 尝试分解：x²-5x+6 = (x-2)(x-3)
  3. 验证解：x=2和x=3代入原方程成立。


  解为x=2或x=3

2.3 拒绝采样：从“试错”中筛选优质数据

• 拒绝采样：通过生成多个候选答案并筛选保留高质量样本，类似于考试时先写草稿再誊抄正确答案。

三、蒸馏数据的生成

知识蒸馏的第一步是生成高质量的“教学数据”，供小模型学习。

• 数据来源：

  • 80%来自DeepSeek-R1生成的推理数据

  • 20%来自DeepSeek-V3的通用任务数据。

• 蒸馏数据的生成过程：

  • 规则过滤：自动检查答案正确性（如数学答案是否符合公式）。

  • 可读性检查：剔除语言混合（如中英文混杂）或冗长段落。

  • 模板引导生成：要求DeepSeek-R1按和模板输出推理轨迹。

  • 拒绝采样筛选：

  • 数据整合：最终形成80万条高质量样本，其中推理数据约60万条，通用数据约20万条。

四、蒸馏过程

• 教师与学生角色：

  • DeepSeek-R1作为教师模型；

  • Qwen系列模型作为学生模型。

• 训练步骤：

  • 数据输入：将80万样本中的问题部分输入Qwen模型，要求其按模板生成完整的推理轨迹（思考过程 + 答案）。

  • 损失计算：对比学生模型生成的输出与教师模型的推理轨迹，通过监督微调（SFT）对齐文本序列。

  • 参数更新：通过反向传播优化Qwen模型的参数，使其逼近教师模型的输出。

  • 重复多轮训练，确保知识充分迁移。

五、实例演示

文章通过一个具体的方程求解任务（解方程 ）展示了蒸馏效果：

• 教师模型的标准输出：

  1. 观察方程结构：二次项系数为1，常数项为6。
  2. 寻找两个数a和b，使得a+b=5且ab=6。
  3. 得出a=2，b=3，因此方程可分解为(x-2)(x-3)=0。
  4. 解得x=2或x=3。


  x=2 或 x=3

• 蒸馏前Qwen-7B输出：

  答案是2和3

问题：缺乏推理过程，答案正确但不可解释。

• 蒸馏后Qwen-7B输出：

  1. 尝试因式分解：x²-5x+6=(x-2)(x-3)。
  2. 验证解：x=2和x=3满足原方程。


  x=2 或 x=3

• 优化方案：生成结构化推理过程，答案与教师模型一致。

三、总结

通过知识蒸馏，DeepSeek-R1的推理能力被高效迁移到Qwen系列小模型中。这一过程以模板化输出和拒绝采样为核心，通过结构化数据生成和精细化训练，使小模型在资源受限的场景中也能实现复杂推理任务。这一技术为AI模型的轻量化部署提供了重要参考

致谢

• https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf