MoE

大语言模型有什么区别？带你了解DeepSeek、Kimi、文心一言、通义千问

技术、适用场景、用户体验方面对比（一）DeepSeek采用混合专家模型（MoE）架构，通过动态路由机制提升特定任务的响应精度，在长文本理解和多轮对话中表现突出。
xingchenhy·2025-04-12 08:57

（15-1）DeepSeek混合专家模型初探：项目介绍+功能模块

混合专家模型（Mixture-of-Experts，缩写为MoE）是由DeepSeek-AI开发的一种创新的语言模型，旨在实现专家的终极专业化。
码农三叔·2025-04-12 07:49

DeepSeek打破AI天花板：MoE架构+RL推理，效率提升5倍的底层逻辑

文章目录一、引言二、MoE架构：高效计算的核心支撑（一）MoE架构概述（二）DeepSeekMoE架构的创新点（三）MoE架构的代码实现示例三、RL推理：智能提升的关键驱动（一）RL推理概述（二）R1的训练流程
程序边界·2025-04-12 07:49

DeepSeek 框架的主要核心架构、关键技术、模型训练

DeepSeek框架的工作原理主要体现在核心架构、关键技术、模型训练等多个层面，具体如下：核心架构混合专家架构（MoE）：MoE架构就像是一个有很多专家的团队，每个专家都擅长处理某一类特定的任务。
meisongqing·2025-04-12 07:42

大模型架构演进：从Transformer到Mixture of Experts（MoE）

1.Transformer架构基础1.1Transformer架构原理Transformer架构是大模型发展的重要基石，其核心原理基于自注意力机制（Self-AttentionMechanism）。在传统的循环神经网络（RNN）架构中，信息的传递是按顺序进行的，这使得模型在处理长序列数据时效率低下且难以捕捉长距离依赖关系。而Transformer架构通过自注意力机制，能够让模型在处理序列数据时，同
学习ing1·2025-04-10 23:13

月之暗面再次开源Kimi大模型——Kimi-VL-A3B-Instruct 和 Kimi-VL-A3B-Thinking

我们介绍的Kimi-VL，是一种高效的开源专家混合物（MoE）视觉语言模型（VLM），它具有先进的多模态推理能力、长语境理解能力和强大的代理能力，而在其语言解码器（Kimi-VL-A3B）中只需激活2.8B
吴脑的键客·2025-04-10 17:41

DeepSeek大模型驱动多场景智能创作突破

内容概要人工智能技术正以混合专家架构（MixtureofExperts,MoE）为核心实现突破性进展。
智能计算研究中心·2025-04-09 15:41

【探商宝】 Llama 4--技术突破与争议并存的开源多模态

核心亮点混合专家架构（MoE）的全面应用Llama4是Meta首个全系列采用MoE架构的模型，通过稀疏激活机制显著提升效率。
探熵科技·2025-04-09 03:59

蛋白对接_使用autodock执行小分子和蛋白质的共价对接

：https://www.bilibili.com/video/BV1D7411A7tj)可能感兴趣的免费软件autodockvina虚拟筛选全过程—以新冠病毒为例使用激酶抑制剂评估9个对接程序的性能MOE
工业狂魔·2025-04-08 03:23

DeepSeek开源库DeepGEMM 性能测评

1.背景DeepGEMM是一个为高效FP8通用矩阵乘法（GEMMs）设计的库，其特点如提出于DeepSeek--V3的精细粒度缩放，支持普通和专家混合（MoE）分组GEMMs。
ZVAyIVqt0UFji·2025-04-08 00:30

AIGC8——大模型生态与开源协作：技术竞逐与普惠化浪潮

引言：大模型发展的分水岭时刻2024年成为AI大模型发展的关键转折点：OpenAI的GPT-4o实现多模态实时交互，中国DeepSeek-MoE-16b模型以1/8成本达到同类90%性能，而开源社区如Mistral
KarudoLee·2025-04-05 08:35

DeepSeek技术原理解读：从算法革新到产业变革

一、架构设计：效率与性能的平衡之道1.混合专家架构（MoE）：分治协作的智能网络DeepSeek的MoE架构通过动态激活专家模块实现计算资源的高效分配。
摆烂大大王·2025-04-04 21:56

大模型架构与训练方向

一、核心知识领域‌模型架构设计‌掌握Transformer、MoE（Mixture-of-Experts）、RetNet等主流架构的原理与实现细节，需深入理解注意力机制、位置编码、稀疏激活等技术‌13。
凌云C·2025-04-04 15:44

深度学习中的MoE与Transformer：应用、发展历史及对比

深度学习中的MoE与Transformer：应用、发展历史及对比引言在深度学习的领域中，模型架构的创新不断推动着技术的前沿。
可乐泡枸杞··2025-04-04 07:20

AI一周热点事件（全球AI新闻-2025年3月24日至3月31日）

（以下借助DeepSeek-R1&Grok辅助生成）中国AI领域的进展Deepseek-V3-0324发布2025年3月24日Deepseek发布混合专家（MoE）语言模型Deepseek-V3-0324
俊哥V·2025-04-02 23:50

Qwen-2.5、DeepSeek-R1、DeepSeek-V3 核心区别

DeepSeek-V3（深度求索）：通用型模型，采用混合专家架构（MoE），总参数6710亿（每次激活370亿），训练成本仅557.6万美元，注重高性价比和低延迟。
瞬间动力·2025-04-02 18:45

DeepSeek多语言模型：低成本高能突破

内容概要在人工智能技术快速迭代的背景下，DeepSeek多语言模型以混合专家架构（MoE）为核心设计，通过670亿参数的规模优势，实现了多模态数据处理能力的突破性升级。
智能计算研究中心·2025-04-01 13:50

DeepSeek vs ChatGPT：大模型技术路线的差异与核心竞争力解析

一、核心架构差异对比1.1模型架构设计哲学维度DeepSeekChatGPT基础架构动态稀疏MoE+局部注意力优化稠密Transformer+全局注意力上下文窗口256ktokens（可扩展至1M）128ktok
恶霸不委屈·2025-04-01 10:30

DeepSeek-R1 的构建过程：架构与训练解析

目录2.架构深入解析2.1专家混合(MoE)架构2.2专家选择与路由算法2.3并行化策略3.训练过程：大规模强化学习3.1数据准备3.2预训练策略3.3强化学习实施奖励计算算法3.4优化技术4.结果与验证
知识小报童·2025-04-01 01:55

【AI大模型系列】DeepSeek V3的混合专家模型机制-MoE架构（八）

一、什么是MoE架构MoE架构的核心思想是将输入数据分配给不同的专家子模型，然后将所有子模型的输出进行合并，以生成最终结果。
morning_judger·2025-03-31 07:16

Orpheus-TTS 介绍，新一代开源文本转语音

以下从技术架构、核心优势、应用场景、对比分析、开发背景及最新进展等多维度展开深入解析：一、技术架构与核心设计基于Llama-3b的混合架构Orpheus-TTS采用Llama-3b作为基础架构，结合混合专家（MoE
魔王阿卡纳兹·2025-03-30 23:25

NLP高频面试题（二十一）——deepseek V1-V3 分别有哪些改进，这些改进是如何对模型产生影响的

本文将按照时间线梳理DeepSeekV1、V2、V3的核心技术演变，包括架构调整（如混合专家MoE、注意力机制优化）、训练数据规模变化、训练目标改进、推理效率优化（如并行化、KV缓存优化）
Chaos_Wang_·2025-03-30 21:42

【大模型篇】阿里云 Qwen2.5-Max：超大规模 MoE 模型架构和性能评估

一、引言Qwen2.5-Max是阿里云通义千问团队研发的超大规模Mixture-of-Expert（MoE）模型，旨在通过超大规模的数据和模型规模扩展来提升模型的智能水平。
大F的智能小课·2025-03-30 03:05

Ollama入门指南：部署与实战最新模型（DeepSeek-V3、Qwen2.5、Llama3）

一、Ollama核心优势与适用场景Ollama通过简化模型部署流程，支持开发者快速调用DeepSeek-V3（开源MoE模型）、Qwen2.5-Max（阿里编程旗舰模型）、Llama3（Meta基础模型
AndrewHZ·2025-03-30 02:32

NPU协同下的MoE专家库架构：医疗AI会诊负载均衡的革新

一、医疗AI协同会诊的挑战与机遇1.1多模态数据融合的复杂性在当今医疗领域，数据呈现出爆炸式增长，且来源广泛、类型多样，涵盖了医学影像（如X光、CT、MRI等）、临床文本（病历、诊断报告等）、基因数据以及各种生理信号数据等。这些多模态数据蕴含着丰富的疾病信息，但也给医疗AI的诊断带来了巨大挑战。以医学影像数据为例，其包含了大量的图像细节和空间信息，对于识别病变部位和形态具有关键作用。然而，不同模态
Allen_Lyb·2025-03-29 09:35

DeepSeek集成IT技术开发方向全景解读：重构智能开发新范式

一、技术架构革命：支撑IT开发集成的三大引擎1.动态MoE架构（DeepSeekMoE-32B）通过混合专家系统实现精准任务路由，在软件开发场景中展现出显著优势：代码生成场景：激活Java/Python
量子纠缠BUG·2025-03-29 00:33

DeepSeek：中国AGI破局者的技术革命与生态重构

一、AGI愿景驱动的技术突破DeepSeek自2023年成立之初便锚定通用人工智能赛道，其技术图谱呈现出三大创新维度：1.混合专家系统（MoE）的极致优化采用动态路由机制激活万亿参数子模型
ivwdcwso·2025-03-28 18:19

人工智能笔记

知识获取困难、难以处理非结构化数据与模糊性问题、处理不确定性能力有限2.大模型的分类2.1按应用层级通用大模型行业大模型垂直大模型3.Deepseek的创新与影响3.1模型架构与训练方法创新混合专家系统MOE
许小禾上学记·2025-03-28 14:47

MoE 模型中的动态路由方法

混合专家(MoE)模型的动态专家选择框架，旨在通过根据输入难度调整激活专家的数量来提高计算效率和模型性能。
三谷秋水·2025-03-27 08:37

在光速的边缘：MiniMax-01的算法实现与细节解析

本文将深入探讨MiniMax-01系列模型的核心算法实现，尤其是其高效的“闪电注意力”（LightningAttention）机制及其与专家混合（MixtureofExperts,MoE）架构的结合。
步子哥·2025-03-26 02:23

Transformer 架构对比：Dense、MoE 与 Hybrid-MoE 的优劣分析

1.LLM基础架构类型DenseTransformerMoE(MixtureofExperts)TransformerHybrid-MoETransformer2.Transformer按照编码方式分类单向自回归模型(如早期GPT系列)双向模型(如BERT)编码器-解码器模型(如BART,T5)DenseTransformerDenseTransformer的优势是什么DenseTransform
m0_74825656·2025-03-24 11:01

万字深度解析：DeepSeek-V3为何成为大模型时代的“速度之王“？

其MoE架构中2048个专家的动态协作，恰似人脑神经网络的模块化运作——每个专家不再是被动执行计算的"劳工"，而是具
羊不白丶·2025-03-24 07:55

Deepseek和豆包在技术创新方面有哪些相同点与不同点？

混合专家模型（MoE）应用：都采用了MoE架构。该架构将模型拆分为多个“专家”，训练和推理时让不同“专家”负责不同任务或数据子集，提高模型表达能力和效率，降低训练成本。模型优化以提升性能：都通过
alankuo·2025-03-24 06:16

DeepSeek多语言AI高效应用实践

内容概要在人工智能技术快速迭代的背景下，DeepSeek系列模型凭借混合专家架构（MoE）与670亿参数规模，在多语言处理、视觉语言理解及复杂任务生成领域实现了突破性进展。
智能计算研究中心·2025-03-23 15:26

MiniMind：完全从 0 训练自己的大模型

是B站UP主近在远方的远开源的一个微型语言模型，改进自DeepSeek-V2、Llama3结构，项目包含整个数据处理、pretrain、sft、dpo的全部阶段，包含混合专家(MoE)模型。
三花AI·2025-03-22 15:49

DeepSeek-R1核心技术深度解密：动态专家网络与多维注意力融合的智能架构实现全解析

DeepSeek-R1智能架构核心技术揭秘：从动态路由到分布式训练的完整实现指南一、DeepSeek-R1架构设计原理1.1动态专家混合系统DeepSeek-R1采用改进型MoE（MixtureofExperts
Coderabo·2025-03-22 04:41

DeepSeek-R1大模型微调技术深度解析：架构、方法与应用全解析

1.DeepSeek-R1大模型架构设计与技术特性1.1架构设计DeepSeek-R1作为超大规模语言模型，其核心架构设计包含以下创新：专家混合架构（MoE）采用6710亿参数的混合专家架构（MoE），
大势下的牛马·2025-03-22 00:58

【AI 天才研究院】从 MoE 架构到 AGI：DeepSeek 将给未来带来哪些影响？

关键技术创新DeepSeek的成本优势主要源于以下几个方面的技术创新：混合专家（MoE）架构：通过选择性激活特定专家网络，大幅降低了计算成本。
AI天才研究院·2025-03-21 22:40

【深度学习】DeepSeek模型介绍与部署

原文链接：DeepSeek-V31.介绍DeepSeek-V3，一个强大的混合专家(MoE)语言模型，拥有671B总参数，其中每个token激活37B参数。
Nerous_·2025-03-21 19:15

DeepSeek多语言670亿参数高效创作解析

内容概要本文聚焦DeepSeek系列模型的核心技术突破与应用价值，通过解析其混合专家架构（MoE）的设计逻辑与670亿参数的规模化优势，揭示其在多语言处理、视觉语言理解及代码生成领域的创新表现。
智能计算研究中心·2025-03-21 01:13

程序员必看！DeepSeek全栈开发实战指南：从代码生成到性能优化

一、DeepSeek技术新突破：程序员效率革命（开篇结合最新技术动态）2025年2月25日，DeepSeek接连放出两大技术王牌：全球首个面向MoE模型的全栈通信库DeepEP开源，以及深度思考R1模型的全面升级
AI创享派·2025-03-18 20:59

当通用智能遇到深度推理：如何正确驾驭DeepSeek-V3与R1？

它采用混合专家架构（MoE），参数规
涛涛讲AI·2025-03-17 04:42

让MoE架构效率提升的神助攻【DeepEP】

一、功能解析DeepEP旨在为MoE（MixtureofExperts）及其专家并行（Expert-Parallel）场景提供高效的通信库，核心功能包括：分发（Dispatch）：
碣石潇湘无限路·2025-03-16 17:51

大模型巅峰对决：DeepSeek vs GPT-4/Claude/PaLM-2 全面对比与核心差异揭秘

喜欢可以到主页订阅专栏目录技术架构对比性能表现与基准测试多模态与多语言能力推理效率与成本分析开源生态与行业适配应用场景与案例研究未来发展与技术趋势代码实现与调用示例1.技术架构对比DeepSeek：动态稀疏激活的混合专家系统（MoE
accurater·2025-03-16 16:40

基于DeepSeek R1构建下一代Manus通用型AI智能体的技术实践

目录一、技术背景与目标定位1.1大模型推理能力演进趋势1.2DeepSeekR1核心特性解析-混合专家架构(MoE)优化-组相对策略优化(GRPO)原理-多阶段强化学习训练范式1.3Manus智能体框架设计理念
zhangjiaofa·2025-03-16 15:08

程序员必看！DeepSeek全栈开发指南：从代码生成到分布式训练的黑科技解析

一、DeepSeek技术新突破：程序员必须掌握的MoE架构实战2025年2月25日，DeepSeek开源了专为MoE模型设计的DeepEP通信库，这项技术革新直接影响了分布式训练和推理效率。
AI创享派·2025-03-16 06:00

Deepseek-R1大模型微调实战技术深度解析

一、Deepseek-R1架构特性与微调适配性分析1.1核心架构创新对微调的影响Deepseek-R1基于Deepseek-V3-Base架构，通过MoE（Mixture-of-Experts）与MLA
大势下的牛马·2025-03-16 00:14

DeepSeek多语言智能创作引擎解析

内容概要在人工智能技术加速演进的背景下，DeepSeek系列产品通过混合专家架构（MoE）与670亿参数的协同设计，构建了多模态智能创作引擎的核心竞争力。
智能计算研究中心·2025-03-15 20:22

DeepSeek：中国大模型 “破壁者” 引发的四大产业地震

一、算力霸权瓦解：低成本训推技术改写游戏规则1.1训练成本“悬崖式下降”DeepSeek通过混合专家架构（MoE）动态路由算法，在同等效果下将模型激活参数压缩
赵同学爱学习·2025-03-15 20:47

Gemini 2.0 全面解析：技术突破、应用场景与竞争格局

1.Gemini2.0技术亮点1.1模型架构与性能提升Gemini2.0采用混合专家模型（MoE）
zhz5214·2025-03-15 09:24
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他