多头注意力

微软 LayoutLMv3：通过统一文本和图像掩码进行文档人工智能预训练

Transformer具有多层架构，每层主要由多头自注意力机制和逐位置全连接前馈网络组成。
·2025-02-13 15:31

DeepSeek-V2 论文解读：混合专家架构的新突破

论文链接：DeepSeek-V2:AStrong,Economical,andEfficientMixture-of-ExpertsLanguageModel目录一、引言二、模型架构（一）多头部潜在注意力
进一步有进一步的欢喜·2025-02-13 09:49

DeepSeek模型架构及优化内容

为了优化推理成本.67B模型使⽤分组查询注意⼒（GQA）⽽不是传统的多头注意⼒（MHA）.超参数设置优化器：采⽤adam
开出南方的花·2025-02-12 19:39

深度学习语义分割实战：ResNet 与 ViT 结合的模型解析

2.语义分割模型解析本项目采用ResNet和ViT结合的方式进行语义分割，并使用CBAM注意力机制增强特征提取能力。涉及的核心文件
高山仰星·2025-02-12 15:06

Transformer细节（九）——Transformer位置编码

二、为什么需要位置编码Transformer模型依赖于自注意力机制（self-attentionmechanism），该机制在计算时对序列中的所有位置一
多学学多写写·2025-02-12 04:25

Bahdanau 注意力

Bahdanau注意力（AdditiveAttention）Bahdanau注意力，也被称为加性注意力（AdditiveAttention），是一种广泛用于序列到序列（Seq2Seq）模型中的注意力机制
彬彬侠·2025-02-11 21:29

缩放点积注意力（Scaled Dot-Product Attention）

缩放点积注意力（ScaledDot-ProductAttention）缩放点积注意力（ScaledDot-ProductAttention）是自注意力（Self-Attention）机制的一种变体，它被广泛应用于现代的神经网络架构中
彬彬侠·2025-02-11 20:53

（少儿编程）关于讲解C++数据类型的思考与总结

前言：孩子们注意力集中时间比较短，课堂采取生活化比喻+互动实践的方式让孩子们学习数据类型知识，分为五个阶段学习。
在下陈平安·2025-02-11 16:19

【NLP算法面经】NLP算法面经 -- 腾讯 VS 美团（附面题）

博客主页：[青松]目录【NLP百面百过】大模型算法高频面题（全面整理ʘ‿ʘ）一、大模型（LLMs）基础面大模型（LLMs）架构篇注意力机制（Attention）篇Transformer理论篇二、大模型微调面有监督微调
青松ᵃⁱ·2025-02-11 13:37

Vue2+Echarts封装组件：专注逻辑，图表生成自动化

开发者能够将注意力集中在业务逻辑的开发上，而无需担心底层图表的创建和渲染过程。这样的表述既体现了组件的便捷性，也突出了它对提高开发效率的
努力奋斗小白·2025-02-11 13:06

DeepSeek关联PPT使用教程

无论是商务汇报、学术展示还是教学课件，一份出色的PPT都能让你的表达更加清晰、有力，吸引观众的注意力。
CodeJourney.·2025-02-11 10:42

Transformer：基于注意力机制的序列转换模型

Transformer：基于注意力机制的序列转换模型最近，我研究了一篇非常有趣的论文——《AttentionIsAllYouNeed》，由GoogleBrain团队的AshishVaswani等人撰写。
金外飞176·2025-02-11 09:07

StripedHyena 模型介绍

其核心目标是解决Transformer在处理长序列数据时的计算效率瓶颈（如自注意力机制的高复杂度），同时保持或提升模型在语言建模、长上下文理解等任务上的性能。
qq_27390023·2025-02-11 08:51

1.1 Attention机制终极指南：从数学推导到Transformer实战，解密大模型核心引擎

神经科学研究表明，人类在处理视觉信息时，注意力区域仅占视野的3-5°，却能精准识别关键目标。这种生物本能启发了AI领域最重要的突破——Attention机制。
少林码僧·2025-02-10 19:49

深度解析Transformer架构核心原理，让小白也懂

解密Transformer：从人类思维到机器智能的注意力革命引言：语言理解的本质困境在纽约地铁站，一个三岁孩童指着广告牌上的"Apple"问妈妈："这是吃的苹果还是爸爸的手机？"
python算法(魔法师版)·2025-02-10 07:00

ai大模型学习和实践

ai大模型学习和实践一、初探大模型：起源与发展1、预热篇：解码注意力机制1.1注意力机制最早是在哪个领域得到应用的1.2以下哪些方法被用于处理序列数据？
编程ID·2025-02-10 07:26

AI大模型系列之七：Transformer架构讲解

Transformer的代码架构自注意力机制是什么？多头注意力有什么用？
m0_74823683·2025-02-10 03:58

深度学习和机器学习的区别|自注意力机制和多头注意力机制的展示|售前面试题

深度学习和机器学习的区别|自注意力机制和多头注意力机制的展示|售前面试题分类机器学习是人工智能的一个分支深度学习是机器学习下的一个分支模型结构机器学习较为简单，可能就是几层，比如线性层深度学习较为复杂，
Red Red·2025-02-10 03:53

【电力负荷预测】时间卷积双向门控循环单元融合注意力机制TCN-BiGRU-Attention负荷多变量时间序列预测【含Matlab源码 4752期】

✅博主简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，Matlab项目合作可私信。个人主页：海神之光代码获取方式：海神之光Matlab王者学习之路—代码获取方式⛳️座右铭：行百里者，半于九十。更多Matlab仿真内容点击Matlab图像处理（进阶版）路径规划（Matlab）神经网络预测与分类（Matlab）优化求解（Matlab）语音处理（Matlab）信号处理（Matlab）车间调度
Matlab领域·2025-02-10 00:03

多头注意力机制的创新优化：MLA架构解析

摘要MLA（Multi-headLatentAttention）架构是对Transformer模型中多头注意力（MHA）结构的创新优化，旨在提高推理阶段的效率并降低资源消耗。
耶耶Norsea·2025-02-09 23:22

CNN-day11-注意力机制

day12-注意力机制一、卷积注意力机制神经网络能够在同样的计算资源下获得更强的表征能力和更优的性能表现。1注意力认知AM：AttentionMechanism，注意力机制。
谢眠·2025-02-09 19:26

SCI一区级 | SAO-CNN-LSTM-Mutilhead-Attention雪消融算法优化卷积长短期记忆神经网络融合多头注意力机制多变量时间序列预测Matlab实现

✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，代码获取、论文复现及科研仿真合作可私信。个人主页：Matlab科研工作室个人信条：格物致知。更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统信号处理图像处理路径规划元胞自动机无人机物理应用机器学习内容介绍光伏发电作为一种清洁能源，在能源转型中扮演着至关重要的角色。准确预测光伏发电量对于提高
天天Matlab代码科研顾问·2025-02-09 14:50

二十一.核心动画-应用 实现直播间内飘心动画

特别是在直播场景中，动态效果如屏幕飘心、点赞、烟花等互动特效，已成为增强直播氛围、吸引观众注意力的重要手段。本篇博客将重点探讨如何在直播间内实现一个经典的“飘心”动画效果。
胖虎1·2025-02-09 04:30

注意力机制：查询（Query）、键（Key）、值（Value）

注意力机制：查询（Query）与键（Key）在注意力机制中，查询（Query）和键（Key）是两个非常关键的概念，它们通过计算相似度来决定模型在某一时刻应该“关注”输入序列的哪一部分。
彬彬侠·2025-02-09 00:37

图神经网络实战（8）——图注意力网络(Graph Attention Networks, GAT)

图神经网络实战（8）——图注意力网络0.前言1.图注意力层原理1.1线性变换1.2激活函数1.3Softmax归一化1.4多头注意力1.5改进图注意力层2.使用NumPy中实现图注意力层3.使用PyTorchGeometric
盼小辉丶·2025-02-08 12:09

深度学习的文本生成：从seq2seq到GPT2和GPT3

文章目录1.背景介绍1.1序列到序列（seq2seq）模型1.1.1编码器1.1.2解码器1.1.3训练1.2Transformer模型1.2.1自注意力机制1.2.2位置编码1.2.3多头注意力1.2.4
AI天才研究院·2025-02-08 11:33

Chrome中的GPU加速合成

如今，即使是最小的设备，功能强大的GPU也已成为不可或缺的一部分，人们的注意力已转移到寻找更有效地使用此基础硬件以实现更好的性能和节
~怎么回事啊~·2025-02-08 10:58

【Block总结】DFFN，门控机制选择性保留低频和高频信息

LingshunKong,JiangxinDong,MingqiangLi,JianjunGe,JinshanPanGitHub链接:https://github.com/kkkls/FFTformer创新点频域自注意力求解器
AI浩·2025-02-08 08:36

【AI原理解析】— Gemini模型

多模态处理能力输入处理数据处理训练过程4.技术细节与优化预训练上下文长度注意机制5.安全性与编程能力安全性评估编程能力6.模型发布与应用发布时间应用方向7.性能评估8.数学基础8.1Transformer解码器基础8.1.1自注意力机制
coolkidlan·2025-02-08 06:49

YOLOv10改进 | 独家创新- 注意力篇 | YOLOv10引入结合SimAM和SKAttention形成全新的SKAM注意力机制和C2f_SKAM(全网独家创新)

1.SKAM介绍SKAM（SimAMandSKAttentionModule）注意力机制结合了SimAM和SKAttention的优点，能够在图像特征提取中表现出更为优异的性能。
小李学AI·2025-02-08 04:11

Flash Attention介绍

FlashAttention是一种优化Transformer模型中注意力机制的技术，旨在提高计算效率并减少内存使用。
TAICHIFEI·2025-02-08 03:38

AudioLM音频生成模型 简介

以下是关于AudioLM音频生成模型的一些关键信息：表格特点描述应用领域语音合成、音乐生成等核心技术自注意力机制（Self-AttentionMechanism）功能生成自然的语音对话、虚拟人物的配音、
低配天才·2025-02-07 18:09

SRMT：一种融合共享记忆与稀疏注意力的多智能体强化学习框架

在人工智能(AI)和强化学习(RL)领域的发展进程中，长期记忆维持和决策优化一直是核心技术难点。传统强化学习模型在经验回溯方面存在局限性，这显著制约了其在复杂动态环境中的应用效果。自反射记忆Transformer(SRMT)作为一种新型记忆增强型transformer架构，专注于提升基于AI的决策能力和多智能体协同效果。本研究将系统阐述SRMT的技术架构、核心功能、应用场景及实验数据，深入分析其在
·2025-02-07 13:28

大模型参数量及其单位的概念

以下是最常见的几种BERT模型的参数量：1.BERT-Base:-Transformer的层数（即encoder的个数）:12-隐藏单元数:768-自注意力头的数量:12-参数量:约1.1亿（110M）
这个人有丶懒·2025-02-07 03:57

空间注意力模块（SAM）和时间注意力模块（TAM）详解及代码复现

注意力机制原理注意力机制源于人类视觉系统的选择性注意能力，是深度学习领域的一项关键技术。它通过模拟人类视觉系统的选择性注意能力，使深度学习模型能够聚焦于图像中的关键信息。
清风AI·2025-02-06 21:47

AI协助探索AI新构型自动化创新的技术实现

例如，使用注意力机制作为原子单元，通过遗传算法生成模块间连接规则。
liron71·2025-02-06 10:35

【Block总结】PSA，极化自注意力|即插即用

TowardsHigh-qualityPixel-wiseRegression链接:arXivGitHub链接：https://github.com/DeLightCMU/PSA2.创新点该论文提出了一种新的自注意力机制
AI浩·2025-02-06 05:58

深入浅出之Convolutional Block Attention Module（YOLO）

ConvolutionalBlockAttentionModule（CBAM）是一种用于增强卷积神经网络（CNN）特征表示能力的注意力机制模块。
浩瀚之水_csdn·2025-02-06 04:46

Python 中实现基于CNN和BiLSTM与注意力机制结合的多输入单输出回归预测

目录Python中实她基她CNN和BiLTTM她注意力机制结合她多输入单输出回归预测...1项目背景介绍...1项目目标她意义...1项目挑战...2项目特点她创新...3项目应用领域...3项目效果预测图程序设计
nantangyuxi·2025-02-06 02:36

大模型的底层逻辑及Transformer架构

其中，Transformer架构是目前主流的大模型架构，它通过自注意力机制和前馈神经网络来处理输入数据。这种架构能够高效地处理序列数据，如文本。3.自
搏博·2025-02-06 02:04

大语言模型轻量化：知识蒸馏的范式迁移与工程实践

本文提出基于动态知识蒸馏的轻量化范式，通过引入注意力迁移机制与分层蒸馏策略，在保持模型语义理解能力的同时实现参数效率的显著提升。实验表明，该方法在G
LucianaiB·2025-02-06 02:04

【YOLOv10改进[注意力]】引入2024.9的LIA(local importance-based attention,基于局部重要性的注意力) | 图像超分辨率任务

本文将进行在YOLOv10中引入2024.9.20的LIA模块魔改v10，文中含全部代码、详细修改方式。助您轻松理解改进的方法。目录一LIA二安装YOLO三魔改YOLOv101整体修改①添加python文件
Jackilina_Stone·2025-02-05 20:23

学霸带你游戏化增强学习动力奖励与挑战助力成长

游戏化吸引学习者注意力游戏的奖励机制、即时反馈和目标导向能迅速抓住学习者的注意力。例如，《糖果传奇》利用直观的奖励机制，使玩家沉迷于挑战自我的乐趣，这种机制同样
Snow Hide（雪诺海德）·2025-02-05 18:10

OpenAI 模型与 DeepSeek 模型使用的强化学习有何不同

据说这是一篇具有革命性的论文，或许能在“注意力就是你所需要的”这一经典理论的传承
·2025-02-04 18:02

Yuan 2.0-M32 是一个基于 Yuan 2.0 架构的双语混合专家 (MoE) 语言模型，旨在以更少的参数和计算量实现更高的准确率

主要创新点：注意力路由器(AttentionRouter):提出了一种新的路由器网络，考虑了专家之间的相关性，从而提高了模型的准确率。
东方佑·2025-02-04 06:01

A deep multimodal fusion method for personality traits prediction

融合方法：使用早期融合和模型融合技术，结合自注意力和
m0_59933522·2025-02-03 21:20

DeepSeek 使用的核心技术预测

1.大规模预训练模型架构Transformer变种与优化：基于Transformer架构进行改进，可能引入稀疏注意力机制（如Longform
eso1983·2025-02-02 18:22

【llm对话系统】大模型 Llama 源码分析之 Flash Attention

Transformer的核心组件是自注意力(Self-Attention)机制，它允许模型捕捉输入序列中不同位置之间的关系。
kakaZhui·2025-02-02 13:43

YOLOv10改进策略【Neck】| HS-FPN：高级筛选特征融合金字塔，加强细微特征的检测

HS-FPN借助通道注意力机制及独特的多尺度融合策略，有效应对目标尺寸差异及特征稀缺问题。
Limiiiing·2025-02-02 10:49

使用Transformer模型实现股票走势预测：深入解析和实操案例（基于Python和PyTorch）

摘要：本文讨论了Transformer模型在股票市场预测中的应用，突出其自注意力机制在捕捉长期趋势和周期性变化方面的优势。文章详细介绍了模型理论、架构，并分析了其在股价预测中的优势和挑战。
AI_DL_CODE·2025-02-02 09:44
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他