Multi-Query注意力

[Base]DIFFERENTIAL TRANSFORMER

Time202410Author微软研究院和清华大学提出Codehttps://aka.ms/Diff-TransformerRead2411112.CreativeQ&A减少对无关上下文的关注；通过计算两个Softmax注意力权重
Xy-unu·2025-03-13 18:09

差分注意力，负注意力的引入

文章目录DifferentialTransformer差分注意力，负注意力的引入相关链接介绍初始化函数多头差分注意力DifferentialTransformer差分注意力，负注意力的引入相关链接ai-algorithms
syugyou·2025-03-13 17:09

Diffusion Transformer与Differential Transformer：技术创新与应用前景

随着技术的不断发展，DiffusionTransformer和DifferentialTransformer等新型架构逐步涌现，为生成模型和注意力机制带来了突破性的进展。
AI大模型learner·2025-03-13 17:33

YOLO系列模型从v1到v10的演进

开创单阶段目标检测先河发布时间与背景核心创新模型架构训练策略与优化YOLOv2:提升精度与速度的平衡发布时间与背景核心创新模型架构训练策略与优化YOLOv3:多尺度检测与残差连接发布时间与背景核心创新模型架构训练策略与优化YOLOv4:引入注意力机制与优化模块发布时间与背景核心创新模型架构训练策略与优化
剑走偏锋o.O·2025-03-13 11:25

YOLOv8改进策略【注意力机制篇】| EMA 即插即用模块，提高远距离建模依赖（含C2f二次创新）

EMA认为跨维度交互有助于通道或空间注意力预测，并且解决了现有注意力机制在提取深度视觉表示时可能带来的维度缩减问题。
Limiiiing·2025-03-13 06:14

YOLOv5改进：在C3块不同位置添加EMA注意力机制，有效提升计算机视觉性能

为了进一步提升YOLOv5的性能，我们在C3块的不同位置添加了EMA（ExponentialMovingAverage）注意力机制。EMA注意力机制是一种用于提升模型的感知能力和特征表达能力的技术。
UksApps·2025-03-13 06:13

Chebykan wx 文章阅读

文献筛选[1]神经网络：全面基础[2]通过sigmoid函数的超层叠近似[3]多层前馈网络是通用近似器[5]注意力是你所需要的[6]深度残差学习用于图像识别[7]视觉化神经网络的损失景观[8]牙齿模具点云补全通过数据增强和混合
やっはろ·2025-03-13 02:44

论文阅读笔记：Graph Matching Networks for Learning the Similarity of Graph Structured Objects

作者提出了一种新的基于注意力的跨图匹配机制GMN(cross-graphattention-basedmatchingmechanism)，来计算出一对图之间的相似度评分。
游离态GLZ不可能是金融技术宅·2025-03-13 01:07

YOLOv12改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

必读内容船新的YOLOv12改进专栏~1️⃣什么！不知道如何改进模型⁉️本专栏所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行，性价比极高。2️⃣找不到合适的模块⁉️所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到YOLOv12中，并进行二次创新，新颖度高，创新度高，能够适应不同的任务场景。3️⃣不确定自己改进的步
Limiiiing·2025-03-13 00:27

Adobe Firefly 技术浅析（二）：Transformer生成模型

其核心是自注意力机制（Self-Attention
爱研究的小牛·2025-03-12 20:32

Transformer 的原理是什么？

解决方案：Transformer是一种基于注意力机制（AttentionMechanism）的深度学习架构，最初由Vaswani等人在2017年的论文《AttentionisAllYouNeed》中提出
玩人工智能的辣条哥·2025-03-12 11:08

在BERT中，如何确定一个标记的重要性

BERT模型中，哪些标记通常具有最高的重要性权重调整损失函数或添加额外的监督信号以影响模型对特殊标记的关注度在BERT中，如何确定一个标记的重要性在BERT模型中，确定一个标记的重要性可以通过以下几种方式：注意力权重
一只天蝎·2025-03-12 10:55

LLM大模型技术实战4：热门开源LLMs对比和选型

1.1主要特点架构特点LLM主要基于Transformer架构，Transformer通过自注意力机制（Self-Attention）
大模型学习教程·2025-03-12 08:44

【每日论文】Forgetting Transformer: Softmax Attention with a Forget Gate

虽然Transformer没有显式的循环形式，但我们展示了一种通过以数据依赖的方式降低未归一化注意力分数的自然方法，将遗忘门融入Transformer。我们称这种注意力机制为“遗忘注意力”，并
WHATEVER_LEO·2025-03-12 08:12

第6篇：Transformer架构详解（下）：多头注意力机制与位置编码

其核心创新包括多头注意力机制和位置编码，这些技术使得Transformer能够高效处理长序列数据。
Gemini技术窝·2025-03-12 00:00

智能算法安全与跨领域创新实践

当前研究重点围绕算法可解释性增强、动态风险评估及数据安全防护展开，通过融合联邦学习的分布式协作框架、量子计算的算力突破以及注意力机制的特征聚焦能力，构建起多模态技术融合的创新路径。
智能计算研究中心·2025-03-11 22:13

仅仅使用pytorch来手撕transformer架构(4)：解码器和解码器模块类的实现和向前传播

解码器和解码器模块类的实现和向前传播仅仅使用pytorch来手撕transformer架构(1)：位置编码的类的实现和向前传播最适合小白入门的Transformer介绍仅仅使用pytorch来手撕transformer架构(2)：多头注意力
KangkangLoveNLP·2025-03-11 17:07

基于transformer实现机器翻译(日译中)

文章目录一、引言二、使用编码器—解码器和注意力机制来实现机器翻译模型2.0含注意力机制的编码器—解码器2.1读取和预处理数据2.2含注意力机制的编码器—解码器2.3训练模型2.4预测不定长的序列2.5评价翻译结果三
小白_laughter·2025-03-11 15:46

基于双向长短期记忆神经网络结合多头注意力机制(BiLSTM-Multihead-Attention)的单变量时序预测

目录1、代码简介2、代码运行结果展示3、代码获取1、代码简介基于双向长短期记忆神经网络结合多头注意力机制(BiLSTM-Multihead-Attention)的单变量时序预测(单输入单输出)1.程序已经调试好
机器学习和优化算法·2025-03-11 03:42

LLM论文笔记 20: How to think step-by-step: A mechanistic understanding of chain-of-thought reasoning

推理本质核心结论1.CoT推理的功能组件尽管不同阶段的推理任务具有不同的推理需求，模型内部的功能组件几乎是相同的（共享而非独享）不同的神经算法实际上是由类似归纳头（inductionheads）等机制组合而成2.注意力机制中的信息流动
Zhouqi_Hua·2025-03-11 03:10

【Transformer优化】Transformer的局限在哪？

一、全局注意力的"诅咒"：从**O(n²)**到O(n³)的计算困境自注意力机制的数学表达式：Attention(Q,K,V)=softmax(QK⊤dk)V\text{
T-I-M·2025-03-10 04:26

（ECCV2018）CBAM改进思路

由于特征映射的每个通道被认为是一个特征检测器，通道注意力集中在给定输入图像的“什么”是有意义的。为了有效地计算通道注意力，我们压缩了输入特征映射的空间维度。对于空间信息
这张生成的图像能检测吗·2025-03-09 19:12

基于CNN-BIGRU-Attention模型的功率预测（模型详解及代码复现）

整体架构基于CNN-BiGRU-Attention模型的功率预测模型是一种融合了卷积神经网络(CNN)、双向门控循环单元(BiGRU)和注意力机制(Attention)的深度学习架构。
清风AI·2025-03-09 18:59

2025最新Transformer模型及深度学习前沿技术应用

第一章、注意力（Attention）机制1、注意力机制的背景和动机（为什么需要注意力机制？注意力机制的起源和发展里程碑）。2、注意力机制的基本原理（什么是注意力机制？
weixin_贾·2025-03-09 06:35

PyTorch深度学习框架60天进阶学习计划第14天：循环神经网络进阶

今天，我们将深入探讨循环神经网络的进阶内容，包括BiLSTM的工作机制、注意力机制的数学原理，以及Transformer编码层的实现。
凡人的AI工具箱·2025-03-09 00:03

YOLOv12改进策略【注意力机制篇】| 引入MobileNetv4中的Mobile MQA，轻量化注意力模块 提高模型效率（二次改进A2C2f）

MobileNetv4中的MobileMQA模块是用于模型加速，减少内存访问的模块，相比其他全局的自注意力，其不仅加强了模型对全局信息的关注，同时也显著提高了模型效率。
Limiiiing·2025-03-08 15:21

ResNet 改进：轻量级的混合本地信道注意机制MLCA

目录1.MLCA注意力机制2.改进位置3.完整代码Tips：融入模块后的网络经过测试，可以直接使用，设置好输入和输出的图片维度即可1.MLCA注意力机制MLCA（MixedLocalChannelAttention
听风吹等浪起·2025-03-08 06:29

新型模型架构（参数化状态空间模型、状态空间模型变种）

然而，Transformer的自注意力机制在计算每个词元时都需要利用到序列中所有词元的信息，这导致计算和存储复杂度随输入序列长度的平方级别增长。
三月七꧁ ꧂·2025-03-08 00:28

领域驱动设计中的核心概念

重要性：明确领域可以帮助开发团队聚焦于业务的核心问题，避免被技术细节分散注意力。2.领域模型（DomainMo
能源革命·2025-03-08 00:25

动态彗星流转边框按钮

引言在网页设计中，动态效果总能吸引用户的注意力。本文将介绍如何使用Canvas和Vue.js实现一个带有动态彗星流转边框的按钮。这个按钮不仅美观，而且可以根据用户的需要调整动画的速度、粗细和轨迹长度。
J丶S丶Q·2025-03-07 19:08

（24-1）DeepSeek中的强化学习：DeepSeek简介

其核心技术包括多头潜在注意力（Multi-head
码农三叔·2025-03-07 12:33

YOLOv12改进之A2(区域注意力)

注意力回顾注意力机制作为深度学习领域的核心技术，已广泛应用于自然语言处理和计算机视觉等多个领域。在YOLOv12改进之A2中，注意力机制扮演着关键角色。
清风AI·2025-03-07 00:39

大模型入门

Transformer架构的持续演进体现在位置编码改进（如RoPE旋转位置编码）、注意力机制优化（FlashAttention算法提升30%训练速度）以及层级结构创新（深度
24k小善·2025-03-06 17:05

详解DeepSeek模型底层原理及和ChatGPT区别点

它的核心是自注意力机制（Self-Attention），这个机制允许模型在处理输入序列时，关注序列中不同位置的信息。例如，在处理句子“Thecatchasedthemouse”时，自注意力机制
瞬间动力·2025-03-06 01:16

《YOLOv12魔术师专栏》专栏介绍 & 专栏目录

《YOLOv12魔术师专栏》将从以下各个方向进行创新（更新日期25.03.05）：【原创自研模块】【多组合点优化】【注意力机制】【主干篇】【neck优化】【卷积魔改】【block&多尺度融合结合】【损失
AI小怪兽·2025-03-05 15:24

图像处理中注意力机制的解析与代码详解

1.注意力机制的原理注意力机制（AttentionMechanism）是一种模拟人类视觉系统的机制，它使模型能够聚焦于图像的关键部分，从而提升图像处理任务的性能。
业余小程序猿·2025-03-05 10:08

QKV 注意力机制在Transformer架构中的作用，和卷积在卷积神经网络中的地位，有哪些相似之处？

QKV注意力机制在Transformer架构中的作用，和卷积在卷积神经网络中的地位，有哪些相似之处？
安意诚Matrix·2025-03-05 08:56

AAAI 2024 | Attentive Eraser：通过自注意力重定向引导释放扩散模型的物体移除潜力

UnleashingDiffusionModel’sObjectRemovalPotentialviaSelf-AttentionRedirectionGuidanceAttentiveEraser：通过自注意力重定向引导释放扩散模型的物体移除潜力作者
小白学视觉·2025-03-05 06:14

深入理解 Transformer：用途、原理和示例

深入理解Transformer：用途、原理和示例一、Transformer是什么Transformer是一种基于注意力机制（AttentionMechanism）的深度学习架构，在2017年的论文“AttentionIsAllYouNeed
范吉民(DY Young)·2025-03-05 01:55

DeepSeek到TinyLSTM的知识蒸馏

一、架构设计与适配模型结构对比：DeepSeek（教师模型）：基于Transformer，多头自注意力机制，层数≥12，隐藏层维度≥768TinyLSTM（学生模型）：单层双向LSTM，隐藏单元128，
猴的哥儿·2025-03-04 21:29

Deepseek的底层架构思维构成

专业解释一、核心架构组件：注意力机制与专家模型的革新1.多头潜在注意力机制（MLA）功能与作用：MLA是DeepSeek对传统Transformer注意力机制的创新改进。
堕落年代·2025-03-04 19:09

计算机视觉｜ConvNeXt：CNN 的复兴，Transformer 的新对手

ViT通过自注意力机制，打破了传统卷积神经网络的局部感知局限，能够捕捉长距离依赖关系，在图
紫雾凌寒·2025-03-04 16:20

提升B站关键词排名，我们如何帮助客户实现50%的曝光增长

在内容创作者与品牌竞相争夺用户注意力的B站（哔哩哔哩）平台上，仅靠优质内容已不足以确保理想的曝光量。
ckx666666cky·2025-03-04 11:08

【深度学习】Hopfield网络：模拟联想记忆

Transformer优化，什么是稀疏注意力？Transformer模型自2017年被提出以来，已经成为自然语言处理（NLP）领域的核心架构，并在计算机视觉、语音处理等其他领域也取得了显著的成功。
T-I-M·2025-03-03 22:32

创新引领的人工智能模型系列：MiniMax-01 系列震撼登场

MiniMax-01MiniMax-01MiniMax-01系列模型首次大规模实现线性注意力机制，传统Transformer架构不再是唯一的选择。这个模型的参数量高达4560亿，其中单次激活459亿。
·2025-03-03 17:52

注意力机制：让机器学会“挑重点”

注意力机制：让机器学会“挑重点”前言在日常生活中，我们总是无意识地选择性地关注某些信息，而忽略其他部分。比如，听音乐时，我们可能会更关注旋律或歌词；阅读文章时，我们会优先留意标题和核心观点。
·2025-03-02 17:54

Llama 2架构深度解析：Meta开源的70B参数大模型设计哲学

一、架构设计理念Llama2作为Meta开源的商用级大语言模型，其架构设计体现了三大核心原则：效率优先：在7B/13B/70B参数规模下保持线性计算复杂度扩展性强化：通过改进注意力机制支持4k上下文长度安全性内嵌
AI时代已来！·2025-03-02 14:46

Transformer 代码剖析9 - 解码器模块Decoder （pytorch实现）

其独特的三级注意力机制架构使其在机器翻译、文本生成等任务中表现出色。
lczdyx·2025-03-02 13:05

【vLLM 学习】使用 Neuron 安装

目前NeuronSDK不支持分页注意力(PagedAttention)，但Transforme
HyperAI超神经·2025-03-01 14:47

YOLOv5 + SE注意力机制：提升目标检测性能的实践

为此，引入注意力机制成为了一种有效的改进方法。本文将详细介绍如何在YOLOv5中引入SE（Squeeze-and-Excitatio
那年一路北·2025-03-01 13:09
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他