探秘 DeepSeek-V3：低成本训练铸就的 AI 大模型传奇

在人工智能大模型的激烈竞争赛道上，DeepSeek-V3 宛如一匹黑马，凭借其卓越的性能和令人惊叹的低训练成本，迅速吸引了全球 AI 领域的目光。今天，就让我们深入剖析 DeepSeek-V3，探寻其背后的故事。

DeepSeek-V3：横空出世的 AI 新贵

DeepSeek-V3 是杭州深度求索人工智能基础技术研究有限公司于 2024 年 12 月 26 日重磅发布的混合专家（MoE）语言模型 。一经推出，便在知识类任务、算法类代码场景、工程类代码场景、中文能力、数学能力等诸多方面展现出强大的优势。在多语言编程测试排行榜中，它已超越 Anthropic 的 Claude 3.5 Sonnet 大模型，仅次于 OpenAI o1 大模型 ，在数学能力方面，更是超越了所有开源闭源模型。

惊爆！仅 558 万美元的训练奇迹

在大模型训练成本动辄上亿美元的今天，DeepSeek-V3 的训练成本可谓是颠覆认知。其全部训练成本总计仅为 557.6 万美元 ，这一数字与其他动辄花费数亿甚至更多资金训练的大模型相比，简直是天壤之别。例如，GPT-4o 的训练成本约为 1 亿美元，而 Llama-3.1 的预训练成本估计超过 5 亿美元 。DeepSeek-V3 能在如此低的成本下完成训练，着实令人惊叹。

如此低的训练成本，背后是一系列优化策略的综合运用。从数据处理到模型架构设计，再到训练算法的选择，DeepSeek 团队都进行了精心的考量和创新。在数据处理阶段，团队通过高效的数据清洗和筛选，确保用于训练的数据既高质量又精炼，避免了大量无效数据带来的计算资源浪费。在模型架构上，DeepSeek-V3 采用了自研的 Mo