DeepSeek-V3 技术报告

1 概述

本文介绍了 DeepSeek-V3,一个强大的混合专家(MoE)语言模型,总参数量为 6710 亿,每个 token 激活的参数量为 370 亿。为了实现高效的推理和经济高效的训练,DeepSeek-V3 采用了多头潜在注意力(MLA)和 DeepSeekMoE 架构,这些架构在 DeepSeek-V2 中得到了充分验证。此外,DeepSeek-V3 率先采用了无辅助损失的负载均衡策略,并设定了多 token 预测训练目标,以提升性能。在 14.8 万亿个多样且高质量的 token 上对 DeepSeek-V3 进行了预训练,随后通过监督微调(SFT)和强化学习(RL)阶段充分释放其潜力。综合评估表明,DeepSeek-V3 优于其他开源模型,并与领先的闭源模型性能相当。尽管性能卓越,DeepSeek-V3 的完整训练仅需 278.8 万 H800 GPU 小时,且训练过程非常稳定,未出现任何不可恢复的损失峰值或回滚。
DeepSeek-V3 技术报告_第1张图片

2 Architecture

你可能感兴趣的:(LLM,深度学习,人工智能)