MOE 第2页

[论文笔记] 超详细解读DeepSeek v3全论文技术报告

DeepSeek-V3是一个强大的专家混合（Mixture-of-Experts，MoE）语言模型，总共671B参数，每个token激活37B参数（可以理解为有多个专家，但每个token只会选择一部分专家进行推理

心心喵·2025-05-11 13:02

MoE Align & Sort在医院AI医疗领域的前景分析（代码版）

MoEAlign&Sort技术通过优化混合专家模型（MoE）的路由与计算流程，在医疗数据处理、模型推理效率及多模态任务协同中展现出显著优势，其技术价值与应用意义从以下三方面展开分析：一、方向分析1、提升医疗数据处理效率在医疗场景中

Allen_Lyb·2025-05-11 04:32

华为昇腾NPU新突破！国产算力如何重塑万亿参数大模型训练格局？

当全球科技巨头仍在为训练万亿参数模型寻求硬件突破时，华为昇腾团队凭借6000+块国产NPU集群，成功实现7180亿参数MoE模型的稳定训练，这一成就不仅标志着中国在AI算力领域迈入全球第一梯队，更预示着国产

算家计算·2025-05-10 10:35

深度学习-159-综述之混合专家模型和推理模型以及工作流和智能体的概念

文章目录1专家混合模型(MoE)1.1专家1.2路由器1.3稀疏和密集MoE2混合推理模型2.1快思考模式2.2慢思考模式2.3两种模式的切换2.4混合推理模型Qwen33工作流和智能体3.1工作流(Workflow

皮皮冰燃·2025-05-08 11:24

《向量数据库指南》——稀疏激活：解锁大数据处理新纪元

稀疏激活的力量：解锁向量数据库与MoE模型的效能密码在大数据与人工智能的浪潮中，向量数据库作为连接高效存储与智能检索的桥梁，正逐步成为数据处理领域的新宠。

大禹智库·2025-05-04 02:24

大模型学习笔记之Dense模型与MOE模型比较

Dense模型（稠密模型）是一种神经网络架构，其核心特点是模型中的所有参数在每次计算时都会被激活并参与计算。以下是Dense模型的详细解释：定义全连接特性：在Dense模型中，每一层的每个神经元都与下一层的所有神经元相连，形成一个完全互联的结构[5]。例如，在一个典型的Dense层中，输入数据的每个元素都会被传递到输出数据的每个元素[8]。全激活模式：对于每个输入数据点，网络中的所有参数（包括连接

hollow__world·2025-05-03 19:07

Moe(混合专家)架构和Dense架构对比？

MoE架构和Dense架构有以下一些对比：结构设计MoE架构：将模型拆分为多个“专家”网络，由门控网络根据输入特征选择Top-K个相关专家进行计算，实现“稀疏计算”。

zhangzeyuaaa·2025-05-03 19:06

Switch Transformers：核心贡献与MoE的区别

SwitchTransformers：核心贡献与MoE的区别《SwitchTransformers:ScalingtoTrillionParameterModelswithSimpleandEfficientSparsity

阿正的梦工坊·2025-05-03 18:31

Loss-Free Balancing MoE论文解读：无损负载均衡的突破

《AUXILIARY-LOSS-FREELOADBALANCINGSTRATEGYFORMIXTURE-OF-EXPERTS》是一篇由LeanWang等人于2024年发表的预印本论文，提出了一种新颖的MoE

阿正的梦工坊·2025-05-03 18:31

DeepSeek多语言AI模型：低成本高性能如何革新论文写作与代码生成

该模型基于混合专家架构（MoE）构建，通过670亿参数的分布式计算框架，实现了对多语言文本、视觉信息的联合理解与生成能力。

智能计算研究中心·2025-05-03 10:06

DeepSeek-V3 技术解析：DeepSeek 如何优化 MoE？

引言近年来，深度学习模型规模急剧扩大，专家混合模型（Mixture-of-Experts,MoE）凭借其高参数稀疏激活和高效计算优势，逐渐成为学术界与工业界关注的热点。

荣华富贵8·2025-05-03 06:05

《DeepSeek MoE架构下，动态专家路由优化全解析》

DeepSeek的混合专家模型（MoE）架构，以其独特的设计理念和卓越的性能表现，在大模型领域崭露头角。

程序猿阿伟·2025-05-03 05:04

DeepSeek Coder：面向编程的代码专用模型

架构与规模DeepSeekCoder系列基于DeepSeekV2的Transformer骨干结构，集成了混合专家（MoE,Mixture-of-Experts）技术，以在参数规模和算力资源之间实现高效平衡

Chaos_Wang_·2025-05-02 22:12

抢先体验全新极小大模型Qwen3:0.6B

据大模型镜像网站上关于Qwen3的介绍：Qwen3是Qwen系列中最新一代的大型语言模型，提供一整套密集模型和混合专家（MoE）模型。

康顺哥·2025-05-02 15:57

通义灵码正式上线 Qwen3，编程智能体马上来了！

此次开源包括两款MoE模型：Qwen3-235B-A22B（2350多亿总参数、220多亿激活参），以及Qwen3-30B-A3B（300亿总参数、30亿激活参数）；以及六个Dense模型：Qwen3-

阿里云云原生·2025-05-02 05:47

DataWorks Copilot 集成 Qwen3-235B-A22B混合推理模型，AI 效能再升级！

阿里云大数据AI技术·2025-05-01 14:40

【AI热点】meta新发布llama4深度洞察（快速认知）

一、Llama 4家族整体概览家族成员Llama 4Scout总参数量约109 B（1090亿），活跃参数量17 B（170亿），拥有16个专家（MixtureofExperts,MoE）。

碣石潇湘无限路·2025-05-01 04:05

Mixture-of-Experts（MoE）原理与在DeepSeek中的应用

MoE机制简介Mixture-of-Experts（MoE，混合专家）是一种“分而治之”的神经网络架构思想。在MoE模型中，存在多个并行的子网络，被称为“专家”。

Chaos_Wang_·2025-04-30 23:05

大模型时代开发者，谁最吃香？

以下是从技术落地到实际应用阶段，预计需求大增的工程人员类型及其核心技能方向：1.大模型核心研发与调优AI/ML研究人员与工程师需求点：模型架构创新（如稀疏化训练、MoE）、训练效率优化（降低算力成本）、

程序员差不多先生·2025-04-29 04:28

如何评价 DeepSeek 的 DeepSeek-V3 模型？

从多个方面来看，DeepSeek-V3的表现令人印象深刻，具体评价如下：性能卓越DeepSeek-V3拥有6710亿参数和370亿激活参数，采用MoE（混合专家）架构，并在14.8万亿token上进行了预训练

关于NLP那些你不知道的事·2025-04-29 00:59

MoE架构解析：如何用“分治”思想打造高效大模型？

这就是MoE（MixtureofExperts，混合专家）架构诞生的意义所在。一、MoE的核心思想：让专业的人做专业的事想象一家医院急诊科：当患者进入时，分诊台会根据症状快速

路人与大师·2025-04-27 18:23

理想MindVLA学习解读

1）关键技术3D高斯混合专家模型MoE从头训练的LLM模型底座人类反馈强化学习基于扩散模型的自车+周车闭环轨迹2）框架3）引申的技术细分

SLAM必须dunk·2025-04-27 05:57

DeepSeek开源周发布MOE架构千亿级模型部署秘籍

DeepSeek开源周发布MOE架构千亿级模型部署秘籍原创NLP轻松谈NLP轻松谈2025年03月03日10:02北京第一天（2月24日）：FlashMLAFlashMLA是一个针对英伟达HopperGPU

强化学习曾小健·2025-04-27 02:07

《Google Gemini 1.5 Pro：MoE架构如何重塑AI性能与效率》

尤其是其采用的混合专家系统（MoE）架构扩展，为模型性能与推理效率带来了革命性的提升，在AI领域掀起了一阵讨论热潮。

·2025-04-25 16:20

三大顶流AI模型场景化横评：Claude3.7 vs GPT4.5 vs Grok3开发者该如何选？

一、模型技术画像速览维度Claude3.7GPT4.5Grok3核心架构改进型ConstitutionalAI混合专家(MoE)架构动态稀疏注意力机制上下文窗口500Ktokens128Ktokens1M

AWS官方合作商·2025-04-24 07:41

DeepSeek投喂数据训练AI教程

其采用的稀疏激活混合专家（MoE）架构和多头潜在注意力（MLA）机制，显著提升了模型对垂直领域数据的适应能力。

摆烂大大王·2025-04-22 00:47

DeepSeek与其他大模型性能参数详细对比

以下是详细的对比分析：技术架构对比特性DeepSeekOpenAIGPT-4GoogleGeminiAnthropicClaude架构混合专家（MoE）架构，结合强化学习基于Transformer的密集模型多模态模型

胡萝卜不甜·2025-04-21 09:58

深度剖析：DeepSeek V3 与 R1 版本的全面对比

二、DeepSeekV3版本（一）模型架构采用前沿的混合专家模型（MoE）与多头潜在注意力机制（MLA）的深度融合，能够动态分配计算资源，高效处理复杂的语言模式和语义关系。

ghs_gss·2025-04-19 21:03

DeepSeek 与其他大模型的横向多维度对比

二、模型架构1.DeepSeek采用创新的混合专家模型（MoE）、多头潜在注意力机制（MLA）和RMSNorm技术相结合，这种架构使DeepSeek能够更灵活高效地处理复杂数据，精准捕捉丰富的上下文信息

ghs_gss·2025-04-19 21:33

生成式引擎优化（GEO）驱动营销与传播的智能化跃迁

其核心逻辑包括：模型轻量化：如文档3中DeepSeek的MoE架构，通过稀疏激活机制将参数量压缩至1/8，推理效率提升3倍。强化学习驱动：基于人类反馈的强

盈达科技·2025-04-19 00:44

Llama3 逆向工程：用 HuggingFace 破解 Meta 未公开的 MoE 架构

尽管其展现出强大的性能，但关于它采用的混合专家（MoE）架构细节，Meta却并未完全公开。今天，我们就来探讨如何利用HuggingFace这个强大的工具，对Llama3的MoE架构进行逆向工程。

威哥说编程·2025-04-18 23:08

Llama 4 到底有多牛？一文看懂 Meta Llama 4!

Llama4是Meta公司于2025年4月推出的最新一代开源人工智能模型，采用了混合专家架构（MoE），旨在通过多模态处理和高效推理能力推动AI技术的广泛应用。

大模型_·2025-04-16 03:18

首个使用MoE架构的LLaMA模型

作为Meta首个基于混合专家（MoE）架构的模型系列，Llama4以其卓越的性能、创新的设计和极高的性价比，迅速在开源模型领域崭露头角，甚至在某些方面超越了当前行业内的顶尖模型。

Sherlock Ma·2025-04-16 03:18

【架构解析】深入浅析DeepSeek-V3的技术架构_deepseek 参数

运行这个DeepSeek-V3需要的显存资源，我先去找更大的GPUVM去了…一、DeepSeek-V3的架构详解1.模型总体概述DeepSeek-V3是一款采用Mixture-of-Experts（MoE

程序员一粟·2025-04-15 21:06

【论文阅读】Adaptive Mixtures of Local Experts

MoE可以理解成一种集成算法。其思想是训练多个神经网络(也就是多个专家，每一个专家是一个神经网络)。每个专家被指定应用于数据集的不同部分。

CC‘s World·2025-04-15 19:53

MoE经典论文简述

1.开创工作1.1Adaptivemixturesoflocalexperts,NeuralComputation’1991论文：Adaptivemixturesoflocalexperts这是大多数MoE

comli_cn·2025-04-15 19:52

DeepSeek R1 简易指南：架构、本地部署和硬件要求

技术架构深度解析模型体系：DeepSeek-R1系列包含两大核心成员：DeepSeek-R1-Zero参数规模：6710亿（MoE架构，每

m0_74825003·2025-04-14 19:43

面向MoE和推理模型时代：阿里云大数据AI产品升级发布

阿里云2025AI势能大会上，阿里云智能集团副总裁、阿里云智能计算平台事业部负责人汪军华带来主题演讲《范式演进：MoE&推理模型时代的挑战与应对》，并发布大数据AI平台一系列重磅产品能力升级。

·2025-04-14 15:35

Python 基于DeepSeek大模型的提示词优化方案

工作效率翻倍以下基于DeepSeek大模型特性及搜索结果的综合分析，结合提示词设计原则、技术原理与优化策略，提供完整Python代码案例及详细解析：一、核心设计原则与技术原理注意力机制优化DeepSeek通过MoE

老胖闲聊·2025-04-13 09:01

DeepSeek完全征服指南：从代码到多模态，解锁AI助手的终极形态

文章目录五大核心功能全景解析1.智能对话引擎2.代码全能助手3.多模态处理中枢4.知识图谱引擎5.自动化工作流技术架构深度剖析混合专家模型（MoE）知识更新系统性能优化方案从入门到精通的实践指南新手入门三步曲高手进阶秘籍行业解决方案全景图教育行业应用金融数据分析医疗辅助决策竞争优势与性能评测权威评测表现独特技术优势未来演进路线图

酷酷的崽798·2025-04-13 05:06

大语言模型有什么区别？带你了解DeepSeek、Kimi、文心一言、通义千问

技术、适用场景、用户体验方面对比（一）DeepSeek采用混合专家模型（MoE）架构，通过动态路由机制提升特定任务的响应精度，在长文本理解和多轮对话中表现突出。

xingchenhy·2025-04-12 08:57

（15-1）DeepSeek混合专家模型初探：项目介绍+功能模块

混合专家模型（Mixture-of-Experts，缩写为MoE）是由DeepSeek-AI开发的一种创新的语言模型，旨在实现专家的终极专业化。

码农三叔·2025-04-12 07:49

DeepSeek打破AI天花板：MoE架构+RL推理，效率提升5倍的底层逻辑

文章目录一、引言二、MoE架构：高效计算的核心支撑（一）MoE架构概述（二）DeepSeekMoE架构的创新点（三）MoE架构的代码实现示例三、RL推理：智能提升的关键驱动（一）RL推理概述（二）R1的训练流程

程序边界·2025-04-12 07:49

DeepSeek 框架的主要核心架构、关键技术、模型训练

DeepSeek框架的工作原理主要体现在核心架构、关键技术、模型训练等多个层面，具体如下：核心架构混合专家架构（MoE）：MoE架构就像是一个有很多专家的团队，每个专家都擅长处理某一类特定的任务。

meisongqing·2025-04-12 07:42

大模型架构演进：从Transformer到Mixture of Experts（MoE）

1.Transformer架构基础1.1Transformer架构原理Transformer架构是大模型发展的重要基石，其核心原理基于自注意力机制（Self-AttentionMechanism）。在传统的循环神经网络（RNN）架构中，信息的传递是按顺序进行的，这使得模型在处理长序列数据时效率低下且难以捕捉长距离依赖关系。而Transformer架构通过自注意力机制，能够让模型在处理序列数据时，同

学习ing1·2025-04-10 23:13

月之暗面再次开源Kimi大模型——Kimi-VL-A3B-Instruct 和 Kimi-VL-A3B-Thinking

我们介绍的Kimi-VL，是一种高效的开源专家混合物（MoE）视觉语言模型（VLM），它具有先进的多模态推理能力、长语境理解能力和强大的代理能力，而在其语言解码器（Kimi-VL-A3B）中只需激活2.8B

吴脑的键客·2025-04-10 17:41

DeepSeek大模型驱动多场景智能创作突破

内容概要人工智能技术正以混合专家架构（MixtureofExperts,MoE）为核心实现突破性进展。

智能计算研究中心·2025-04-09 15:41

【探商宝】 Llama 4--技术突破与争议并存的开源多模态

核心亮点混合专家架构（MoE）的全面应用Llama4是Meta首个全系列采用MoE架构的模型，通过稀疏激活机制显著提升效率。

探熵科技·2025-04-09 03:59

蛋白对接_使用autodock执行小分子和蛋白质的共价对接

：https://www.bilibili.com/video/BV1D7411A7tj)可能感兴趣的免费软件autodockvina虚拟筛选全过程—以新冠病毒为例使用激酶抑制剂评估9个对接程序的性能MOE

工业狂魔·2025-04-08 03:23

DeepSeek开源库DeepGEMM 性能测评

1.背景DeepGEMM是一个为高效FP8通用矩阵乘法（GEMMs）设计的库，其特点如提出于DeepSeek--V3的精细粒度缩放，支持普通和专家混合（MoE）分组GEMMs。

ZVAyIVqt0UFji·2025-04-08 00:30

推荐频道

MOE