来源:前沿科技分享圈
近日,AI领域迎来了一次重大突破,DeepSeek正式推出了其最新研发的开源推理模型——DeepSeek-R1。这一模型在数学、代码和自然语言推理等关键任务上的表现,已经能够与OpenAI的o1正式版相媲美,引发了AI研究者和从业者的广泛关注。
DeepSeek-R1的训练方式采用了多阶段循环的策略,具体包括基础训练、强化学习(RL)、微调等多个阶段。这种独特的训练方式使得模型在推理能力上有了显著提升。例如,AutoAWQ的作者Casper Hansen指出,DeepSeek-R1通过这种多阶段训练,能够在较少标注数据的情况下,极大提升模型的推理能力。
DeepSeek-R1的推出,标志着AI行业在推理模型领域的又一次飞跃。UC Berkeley教授Alex Dimakis甚至认为,DeepSeek已经在某些方面处于领先地位,美国公司可能需要迎头赶上。DeepSeek-R1不仅在网页端、App端和API端全面上线,还提供了开源的模型权重,允许用户基于R1训练其他模型,极大地推动了AI技术的普及和应用。
在性能方面,DeepSeek-R1的表现令人瞩目。与OpenAI的o1-1217、o1-mini以及自家的DeepSeek-V3相比,R1在多个数据集上的表现不相上下,甚至在某些任务上超越了现有模型。此外,DeepSeek-R1还蒸馏出了六个不同参数规模的小模型,包括1.5B、7B、8B、14B、32B和70B版本,这些模型同样完全开源,旨在回馈开源社区,推动AI技术的发展。
DeepSeek-R1的开源策略不仅体现在模型权重的开放,还体现在其极具竞争力的API定价上。与OpenAI的API定价相比,DeepSeek-R1的API服务价格仅为每百万输入tokens 1元(缓存命中)/4元(缓存未命中),每百万输出tokens 16元,远低于OpenAI的定价。这种高性价比的策略,无疑将吸引更多开发者和企业使用DeepSeek-R1,进一步推动AI技术的商业化应用。
DeepSeek-R1的技术核心在于其对强化学习的创新应用。开发团队摒弃了传统的监督微调(SFT)作为冷启动的方式,而是通过大规模强化学习直接提升模型的推理能力。这种全新的思路不仅降低了训练成本,还提高了模型的适应性和灵活性。例如,DeepSeek-R1-Zero采用了群组相对策略优化(GRPO)来降低训练成本,通过从群组分数中估算基线,避免了使用与策略模型同样大小的评估模型,从而提高了训练效率。
在奖励机制方面,DeepSeek-R1采用了准确度和格式两种互补的奖励机制。准确度奖励用于评估回答的正确性,而格式奖励则用于规范模型的输出格式。这种奖励机制的设计,使得模型能够在推理过程中更加注重思考过程的规范性和正确性。此外,开发团队还设计了简单的训练模板,引导模型先给出推理过程,再提供最终答案,这种设计不仅规范了模型的输出结构,还避免了对内容施加过多限制,使得模型能够在训练过程中自然发展出高级的解题策略。
在训练过程中,DeepSeek-R1-Zero展现出了显著的自我进化能力。例如,在处理2024年的AIME数学奥赛试卷时,其平均pass@1分数从最初的15.6%显著提升到了71.0%,达到了与OpenAI-o1-0912相当的水平。更令人惊讶的是,在多数投票机制中,DeepSeek-R1-Zero的成功率进一步提升到了86.7%,甚至超过了OpenAI-o1-0912的表现。这种自我进化能力的背后,是强化学习的魅力——只要提供正确的奖励机制,模型就能自主发展出高级的解题策略。
为了防止基础模型在强化学习训练早期出现不稳定的冷启动阶段,开发团队针对R1构建并收集了少量的长CoT数据,以作为初始RL actor对模型进行微调。这些冷启动数据不仅提高了模型的可读性,还提升了模型的性能。开发团队通过精心设计具有人类先验知识的冷启动数据模式,观察到相较于DeepSeek-R1-Zero更好的性能表现。
尽管DeepSeek-R1在推理能力上取得了显著的突破,但仍然存在一些局限性。例如,DeepSeek-R1-Zero的回答可读性较差,语言混杂等问题。为了解决这些问题,开发团队在训练过程中引入了语言一致性奖励,以缓解语言混合的问题。此外,开发团队还通过拒绝采样和监督微调,进一步提升了模型的性能。
为了使更高效的小模型具备DeepSeek-R1那样的推理能力,开发团队直接使用DeepSeek-R1整理的80万个样本对Qwen和Llama等开源模型进行了微调。这种简单的蒸馏方法显著增强了小模型的推理能力,使得它们能够在推理任务上表现出色。
DeepSeek-R1的推出,不仅在技术上实现了突破,更在开源和性价比上为行业树立了新的标杆。通过开源模型权重和训练技术,DeepSeek为全球的AI研究者和开发者提供了强大的工具和资源,推动了AI技术的边界。未来,随着更多开发者和企业的参与,DeepSeek-R1有望在更多领域实现应用,为AI行业的发展注入新的动力。
DeepSeek-R1的出现,不仅是AI技术的一次重大突破,更是开源精神的胜利。它不仅为AI研究者提供了新的思路和方法,也为AI技术的商业化应用提供了新的可能性。随着DeepSeek-R1的不断优化和改进,我们有理由相信,它将在未来的AI领域中扮演更加重要的角色。
阅读最新前沿科技趋势报告,请访问欧米伽研究所的“未来知识库”
https://wx.zsxq.com/group/454854145828
未来知识库是“欧米伽未来研究所”建立的在线知识库平台,收藏的资料范围包括人工智能、脑科学、互联网、超级智能,数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828 进入。
截止到12月25日 ”未来知识库”精选的100部前沿科技趋势报告
2024 美国众议院人工智能报告:指导原则、前瞻性建议和政策提案
未来今日研究所:2024 技术趋势报告 - 移动性,机器人与无人机篇
Deepmind:AI 加速科学创新发现的黄金时代报告
Continental 大陆集团:2024 未来出行趋势调研报告
埃森哲:未来生活趋势 2025
国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景
哈尔滨工业大学:2024 具身大模型关键技术与应用报告
爱思唯尔(Elsevier):洞察 2024:科研人员对人工智能的态度报告
李飞飞、谢赛宁新作「空间智能」 等探索多模态大模型性能
欧洲议会:2024 欧盟人工智能伦理指南:背景和实施
通往人工超智能的道路:超级对齐的全面综述
清华大学:理解世界还是预测未来?世界模型综合综述
Transformer 发明人最新论文:利用基础模型自动搜索人工生命
兰德公司:新兴技术监督框架发展的现状和未来趋势的技术监督报告
麦肯锡全球研究院:2024 年全球前沿动态(数据)图表呈现
兰德公司:新兴技术领域的全球态势综述
前瞻:2025 年人形机器人产业发展蓝皮书 - 人形机器人量产及商业化关键挑战
美国国家标准技术研究院(NIST):2024 年度美国制造业统计数据报告(英文版)
罗戈研究:2024 决策智能:值得关注的决策革命研究报告
美国航空航天专家委员会:2024 十字路口的 NASA 研究报告
中国电子技术标准化研究院 2024 扩展现实 XR 产业和标准化研究报告
GenAI 引领全球科技变革关注 AI 应用的持续探索
国家低空经济融创中心中国上市及新三板挂牌公司低空经济发展报告
2025 年计算机行业年度策略从 Infra 到 AgentAI 创新的无尽前沿
多模态可解释人工智能综述:过去、现在与未来
【斯坦福博士论文】探索自监督学习中对比学习的理论基础
《机器智能体的混合认知模型》最新 128 页
Open AI 管理 AI 智能体的实践
未来生命研究院 FLI2024 年 AI 安全指数报告 英文版
兰德公司 2024 人工智能项目失败的五大根本原因及其成功之道 - 避免 AI 的反模式 英文版
Linux 基金会 2024 去中心化与人工智能报告 英文版
脑机接口报告脑机接口机器人中的人机交换
联合国贸发会议 2024 年全球科技创新合作促发展研究报告 英文版
Linux 基金会 2024 年世界开源大会报告塑造人工智能安全和数字公共产品合作的未来 英文版
Gartner2025 年重要战略技术趋势报告 英文版
Fastdata 极数 2024 全球人工智能简史
中电科:低空航行系统白皮书,拥抱低空经济
迈向科学发现的生成式人工智能研究报告:进展、机遇与挑战
哈佛博士论文:构建深度学习的理论基础:实证研究方法
Science 论文:面对 “镜像生物” 的风险
镜面细菌技术报告:可行性和风险
Neurocomputing 不受限制地超越人类智能的人工智能可能性
166 页 - 麦肯锡:中国与世界 - 理解变化中的经济联系(完整版)
未来生命研究所:《2024 人工智能安全指数报告》
德勤:2025 技术趋势报告 空间计算、人工智能、IT 升级。
2024 世界智能产业大脑演化趋势报告(12 月上)公开版
联邦学习中的成员推断攻击与防御:综述
兰德公司 2024 人工智能和机器学习在太空领域感知中的应用 - 基于两项人工智能案例英文版
Wavestone2024 年法国工业 4.0 晴雨表市场趋势与经验反馈 英文版
Salesforce2024 年制造业趋势报告 - 来自全球 800 多位行业决策者对运营和数字化转型的洞察 英文版
MicrosoftAzure2024 推动应用创新的九大 AI 趋势报告
DeepMind:Gemini,一个高性能多模态模型家族分析报告
模仿、探索和自我提升:慢思维推理系统的复现报告
自我发现:大型语言模型自我组成推理结构
2025 年 101 项将 (或不会) 塑造未来的技术趋势白皮书
《自然杂志》2024 年 10 大科学人物推荐报告
量子位智库:2024 年度 AI 十大趋势报告
华为:鸿蒙 2030 愿景白皮书(更新版)
电子行业专题报告:2025 年万物 AI 面临的十大待解难题 - 241209
中国信通院《人工智能发展报告(2024 年)》
美国安全与新兴技术中心:《追踪美国人工智能并购案》报告
Nature 研究报告:AI 革命的数据正在枯竭,研究人员该怎么办?
NeurIPS 2024 论文:智能体不够聪明怎么办?让它像学徒一样持续学习
LangChain 人工智能代理(AI agent)现状报告
普华永道:2024 半导体行业状况报告发展趋势与驱动因素
觅途咨询:2024 全球人形机器人企业画像与能力评估报告
美国化学会 (ACS):2024 年纳米材料领域新兴趋势与研发进展报告
GWEC:2024 年全球风能报告英文版
Chainalysis:2024 年加密货币地理报告加密货币采用的区域趋势分析
2024 光刻机产业竞争格局国产替代空间及产业链相关公司分析报告
世界经济论坛:智能时代,各国对未来制造业和供应链的准备程度
兰德:《保护人工智能模型权重:防止盗窃和滥用前沿模型》-128 页报告
经合组织 成年人是否具备在不断变化的世界中生存所需的技能 199 页报告
医学应用中的可解释人工智能:综述
复旦最新《智能体模拟社会》综述
《全球导航卫星系统(GNSS)软件定义无线电:历史、当前发展和标准化工作》最新综述
《基础研究,致命影响:军事人工智能研究资助》报告
欧洲科学的未来 - 100 亿地平线研究计划
Nature:欧盟正在形成一项科学大型计划
Nature 欧洲科学的未来
欧盟科学 —— 下一个 1000 亿欧元
欧盟向世界呼吁 加入我们价值 1000 亿欧元的研究计划
DARPA 主动社会工程防御计划(ASED)《防止删除信息和捕捉有害行为者(PIRANHA)》技术报告
兰德《人工智能和机器学习用于太空域感知》72 页报告
构建通用机器人生成范式:基础设施、扩展性与策略学习(CMU 博士论文)
世界贸易组织 2024 智能贸易报告 AI 和贸易活动如何双向塑造 英文版
人工智能行业应用建设发展参考架构
波士顿咨询 2024 年欧洲天使投资状况报告 英文版
2024 美国制造业计划战略规划
【新书】大规模语言模型的隐私与安全
人工智能行业海外市场寻找 2025 爆款 AI 应用 - 241204
美国环保署 EPA2024 年版汽车趋势报告英文版
经济学人智库 EIU2025 年行业展望报告 6 大行业的挑战机遇与发展趋势 英文版
华为 2024 迈向智能世界系列工业网络全连接研究报告
华为迈向智能世界白皮书 2024 - 计算
华为迈向智能世界白皮书 2024 - 全光网络
华为迈向智能世界白皮书 2024 - 数据通信
华为迈向智能世界白皮书 2024 - 无线网络
安全牛 AI 时代深度伪造和合成媒体的安全威胁与对策 2024 版
2024 人形机器人在工业领域发展机遇行业壁垒及国产替代空间分析报告
《2024 年 AI 现状分析报告》2-1-3 页.zip
万物智能演化理论,智能科学基础理论的新探索 - newv2
世界经济论坛 智能时代的食物和水系统研究报告
生成式 AI 时代的深伪媒体生成与检测:综述与展望
科尔尼 2024 年全球人工智能评估 AIA 报告追求更高层次的成熟度规模化和影响力英文版
计算机行业专题报告 AI 操作系统时代已至 - 241201
Nature 人工智能距离人类水平智能有多近?
Nature 开放的人工智能系统实际上是封闭的
斯坦福《统计学与信息论》讲义,668 页 pdf
国家信息中心华为城市一张网 2.0 研究报告 2024 年
国际清算银行 2024 生成式 AI 的崛起对美国劳动力市场的影响分析报告 渗透度替代效应及对不平等状况英文版
大模型如何判决?从生成到判决:大型语言模型作为裁判的机遇与挑战
毕马威 2024 年全球半导体行业展望报告
MR 行业专题报告 AIMR 空间计算定义新一代超级个人终端 - 241119
DeepMind 36 页 AI4Science 报告:全球实验室被「AI 科学家」指数级接管
《人工智能和机器学习对网络安全的影响》最新 273 页
2024 量子计算与人工智能无声的革命报告
未来今日研究所:2024 技术趋势报告 - 广义计算篇
科睿唯安中国科学院 2024 研究前沿热度指数报告
文本到图像合成:十年回顾
《以人为中心的大型语言模型(LLM)研究综述》
经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版
波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告 英文版
理解世界还是预测未来?世界模型的综合综述
GoogleCloudCSA2024AI 与安全状况调研报告 英文版
英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施
花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告
国际可再生能源署 IRENA2024 年全球气候行动报告
Cell: 物理学和化学 、人工智能知识领域的融合
智次方 2025 中国 5G 产业全景图谱报告
上下滑动查看更多