DeepSeek 和 Qwen 模型快速部署指南

导读：DeepSeek-V3 & DeepSeek-R1 模型对比

特性	DeepSeek-V3	DeepSeek-R1
模型大小	总参数量6710亿(671B), MoE架构,每个token激活370亿参数	总参数量与V3相当,基于DeepSeek-V3-Base,采用类似的MoE架构
训练方法	包含预训练、监督微调(SFT)和强化学习(RL),使用14.8兆高品质文本进行预训练	引入多阶段训练流程,冷启动微调后进行推理导向的RL训练,最后进行SFT和再次RL训练
性能表现	在多项基准测试(MMLU-Pro、GPQA-Diamond、MATH 500)中达到或超越其他开源模型	在推理任务上性能卓越,与OpenAI-o1-1217表现相当,特别在数学、代码和推理任务中表现优异
应用场景	适用于广泛的NLP任务,如文本生成、阅读理解、机器翻译等	专注于深度推理任务,如数学问题求解、代码生成和复杂问题的分析
创新点	采用MoE架构提升效率,结合大规模数据的预训练和多阶段优化流程	引入GRPO方法进行RL训练,改进推理能力,特别设计针对未微调模型的性能提升

模型特性详细解读：

DeepSeek-V3

• 大规模MoE架构： 采用混合专家(MoE)架构，总参数量达到6710亿，但每个token只激活370亿参数，大大提高了模型的效率和性能。

• 多阶段训练流程： 包含预训练、监督微调(SFT)和强化学习(RL)等多个阶段，保证模型在各种任务上的泛化能力。

• 海量数据预训练： 使用14.8兆高品质文本进行预训练，使模型具备强大的语言理解和生成能力。

• 广泛的NLP任务： 在文本生成、阅读理解、机器翻译等多种NLP任务上表现出色，达到或超越其他开源模型。

DeepSeek-R1

• 基于DeepSeek-V3-Base： 基于DeepSeek-V3的基础模型进行开发，继承了V3的优秀特性。

• 针对推理任务优化： 专注于深度推理任务，如数学问题求解、代码生成和复杂问题分析，性能卓越，与OpenAI-o1-1217相当。

• 多阶段训练流程： 引入多阶段训练流程，包括冷启动微调、推理导向的RL训练、SFT和再次RL训练，提升模型在推理任务上的表现。

• GRPO方法： 引入GRPO方法进行RL训练，进一步改进了模型的推理能力。

• 未微调模型优化： 特别设计了针对未微调模型的性能提升方案，使其在没有微调的情况下也能表现出色。

1.DeepSeek 模型部署硬件需求

1.1 模型类型与精度

DeepSeek 模型主要分为三种类型：满血版、量化版和蒸馏版。

• 满血版 DeepSeek-R1: 671B (混合专家模型, MoE)

  配置项	配置要求
  GPU	H100 * 16
  CPU	128核
  内存	512GB
  磁盘	1TB

  • 参数规模: 6710 亿

  • 模型文件大小: 720GB

  • 精度: BF16 (Brain Floating Point)

  • 显存需求: 至少 350GB 显存/内存

  • 适用场景: 专业服务器部署，适合高性能计算场景。

  • 推荐配置: 见表格

• 解读:

  • 满血版 指的是完整参数规模的模型，计算量和性能都是最高的。

  • MoE (Mixture of Experts) 混合专家模型是一种特殊的网络结构，可以大幅提升模型容量，同时降低计算成本。

  • BF16 是一种半精度浮点数格式，相比FP32可以减少一半的显存占用，同时保持较高的计算精度。

  • 350GB 显存/内存 是一个非常高的要求，说明满血版DeepSeek模型需要顶级的GPU服务器才能运行。

  • 专业服务器部署 说明这类模型主要面向企业级用户，需要专业的运维和优化。

• 量化版 DeepSeek-R1: 671B

  • 动态量化 (如 UD-IQ1_M)

    • 对关键层 (如注意力机制) 采用 4-6bit 高精度量化

    • 对 MoE 层采用 1-2bi