注意力机制

轻量级模型解读——轻量transformer系列

谷歌提出的一篇论文，最早应用于NLP领域的机器翻译工作，Transformer解读，但随着2020年DETR和ViT的出现(DETR解读，ViT解读)，其在视觉领域的应用也如雨后春笋般渐渐出现，其特有的全局注意力机制给图像识别领域带来了重要参考
lishanlu136·2024-09-16 01:18

transformer架构(Transformer Architecture)原理与代码实战案例讲解

transformer架构(TransformerArchitecture)原理与代码实战案例讲解关键词：Transformer,自注意力机制,编码器-解码器,预训练,微调,NLP,机器翻译作者：禅与计算机程序设计艺术
AI架构设计之禅·2024-09-14 16:47

论文学习笔记 VMamba: Visual State Space Model

特别是，ViTs尽管在处理大规模数据上具有优势，但其自注意力机制的二次复杂度对高分辨率图像处理时的计算成本极高。因此，研究者希望通过引入新的架构来降低这种复杂度，并提高视觉任务的效率。现
Wils0nEdwards·2024-09-11 23:47

计算机视觉中，如何理解自适应和注意力机制的关系？

自适应和注意力机制之间的关系密切相关，注意力机制本质上是一种自适应的计算方法，它能够根据输入数据的不同特点，自主选择和聚焦于输入的某些部分或特征。
Wils0nEdwards·2024-09-11 23:45

《自然语言处理 Transformer 模型详解》

它摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）架构，完全基于注意力机制，在机器翻译、文本生成、问答系统等众多任务中取得了卓越的性能。
黑色叉腰丶大魔王·2024-09-11 21:02

验证resneXt，densenet，mobilenet和SENet的特色结构

SENet：注意力机制。简单起见，使用了[1]的代码，注释掉layer4，作为基本框架resnet14。然后改变局部结构，验证分类效果。实验结果GPU：gtx107
dfj77477·2024-09-11 20:55

微积分在神经架构搜索中的应用

微积分在神经架构搜索中的应用1.背景介绍随着深度学习技术的飞速发展,神经网络模型的复杂度也在不断提高,从最初的简单全连接网络,到如今的卷积神经网络、循环神经网络、注意力机制等各种复杂的神经网络架构。
光剑书架上的书·2024-09-10 03:34

CA：新注意力机制，助力分类/检测/分割涨点！

摘要最近关于移动网络设计的研究已经证明了通道注意(例如，挤压和激发注意)对于提升模型性能的显著效果，但是它们通常忽略位置信息，而位置信息对于生成空间选择性注意图是重要的。本文提出了一种新的移动网络注意机制，将位置信息嵌入到信道注意中，我们称之为“协同注意”。与通过2D全局汇集将特征张量转换为单个特征向量的通道注意力不同，坐标注意力将通道注意力分解为两个1D特征编码过程，这两个过程分别沿两个空间方向
Akita·wang·2024-09-08 22:38

Transformer、BERT、GPT、T5、LLM（大语言模型），以及它们在实际行业中的运用

它引入了注意力机制（Self-Attention）
Funhpc_huachen·2024-09-08 17:38

Transformer模型在文本摘要任务中的应用与性能分析

1.Transformer模型简介Transformer模型是一种基于自注意力机制的神经网络架构，它摆脱了传统的
liuxin33445566·2024-09-06 20:59

爆改YOLOv8|利用yolov10的PSA注意力机制改进yolov8-高效涨点

1，本文介绍PSA是一种改进的自注意力机制，旨在提升模型的效率和准确性。传统的自注意力机制需要计算所有位置对之间的注意力，这会导致计算复杂度高和训练时间长。
不想敲代码！！！·2024-09-05 20:18

You Only Cache Once: Decoder-Decoder Architectures for Language Models

以下是其核心内容的总结：YOCO架构关键特点：双重解码器结构：YOCO由自解码器和交叉解码器两部分组成，自解码器生成全局键值（KV）缓存，交叉解码器通过交叉注意力机制重用这些缓存。
YiHanXii·2024-09-05 19:08

深度学习算法——Transformer

参考教材：动手学pytorch一、模型介绍Transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层。
fw菜菜·2024-09-04 18:31

计算机视觉之 GSoP 注意力模块

计算机视觉之GSoP注意力模块一、简介GSopBlock是一个自定义的神经网络模块，主要用于实现GSoP（GlobalSecond-orderPooling）注意力机制。
Midsummer-逐梦·2024-09-03 12:18

大语言模型诞生、探索和爆发阶段

2017年：Google发表了Transformer架构，这是一种基于自注意力机制的神经网络架构，它彻底改变了自然语言处理（NLP）领域，使得大规模并行化处理成为可能，
花开盛夏^.^·2024-09-02 10:38

Transformer面试真题详解——覆盖99%的Transformer面试问题（建议收藏）

文章目录1.请简述一下Transformer的基本结构和原理2.Transformer为什么使用多头注意力机制3.Transformer计算attention为什么选择点乘而不是加法？
爱睡觉的咋·2024-09-02 05:34

【论文笔记】Training language models to follow instructions with human feedback B部分

TraininglanguagemodelstofollowinstructionswithhumanfeedbackB部分回顾一下第一代GPT-1：设计思路是“海量无标记文本进行无监督预训练+少量有标签文本有监督微调”范式；模型架构是基于Transformer的叠加解码器（掩码自注意力机制
Ctrl+Alt+L·2024-09-02 01:12

unet各模块内容的理解（包含注意力机制、残差、以及数据维度的变化）

文章目录attention机制Unet的各个模块的设计①残差块②下块做一次残差，做一次自注意力③上块：这里做了skipconnect，做一次残差，做一次注意力④中块：做两次残差和一次自注意力⑤上采样：通道数不变，长宽翻两倍⑥下采样：通道数不变，长宽缩小到原来的一半整个unet模块unet模块的示意图参考的unet代码unet代码attention机制参考内容:超详细图解Self-Attention
云梦之上·2024-09-01 13:57

总结：大模型技术栈---算法与原理

word-levelchar-levelsubword-levelBPEWordPieceUniLMSentencePieceByteBPE2.positionencoding绝对位置编码ROPEAliBi相对位置编码Transformer-XLT5/TUPEDeBERTa3.注意力机制
lichunericli·2024-08-31 22:26

YOLOv9独家改进：一种高效移动应用的卷积加性自注意Vision Transformer

构建了一个新颖且高效实现方式——卷积加性相似度函数，并提出了一种名为卷积加性标记混合器（CATM）的简化方法来降低计算开销《YOLOv9魔术师专栏》将从以下各个方向进行创新：【原创自研模块】【多组合点优化】【注意力机制
AI小怪兽·2024-08-31 17:28

Unet改进10：在不同位置添加CPCA||通道先验卷积注意力机制

本文内容：在不同位置添加CPCA注意力机制目录论文简介1.步骤一2.步骤二3.步骤三4.步骤四论文简介低对比度和显著的器官形状变化等特征经常出现在医学图像中。
AICurator·2024-08-31 12:46

YOLOv8改进 | 注意力篇 | YOLOv8引入SimAM注意力机制

1.SimAM介绍1.1摘要：在本文中，我们提出了一个概念上简单但非常有效的卷积神经网络（ConvNets）注意力模块。与现有的通道和空间注意力模块相比，我们的模块为层中的特征图推断3D注意力权重，而不向原始网络添加参数。具体来说，我们基于一些著名的神经科学理论，提出优化能量函数来找到每个神经元的重要性。我们进一步推导了能量函数的快速封闭式解决方案，并表明该解决方案可以用不到十行代码来实现。该模块
小李学AI·2024-08-31 05:33

YOLOv10改进 | 独家创新- 注意力篇 | YOLOv10引入结合EMAttention和ParNetAttention形成全新的EPA注意力机制和C2f_EPA(全网独家创新)

1.EPAAttention介绍EPAAttention注意力机制综合了EMAttention和ParNetAttention的优势，能够更有效地提取图像特征。
小李学AI·2024-08-30 05:54

大模型训练和推理

文章目录一、NLP基础1.Tokenizer2.positionencoding3.注意力机制与transformer架构二、大模型训练1.SFT训练2.RLHF训练3.分布式并行训练技术（1）模型并行
李明朔·2024-08-30 01:27

爆改yolov8|利用BSAM改进YOLOv8，高效涨点

它主要通过双层注意力机制来增强模型对重要空间信息的关注，从而提升任务性能。核心特点：双层空间注意力：BSAM结合了两个层次的注意力机制——全局和局部。
不想敲代码！！！·2024-08-29 22:37

爆改YOLOv8 | yolov8添加MSDA注意力机制

1，本文介绍MSDA（多尺度扩张注意力）模块通过自注意力机制在不同尺度上有效地捕捉特征的稀疏性。它首先通过线性投影生成特征图(X)的查询、键和值。
不想敲代码！！！·2024-08-29 22:06

爆改YOLOv8 | yolov8添加GAM注意力机制

1，本文介绍GAM（GlobalAttentionMechanism）旨在改进传统注意力机制的不足，特别是在通道和空间维度上的信息保留问题。它通过顺序的通道-空间注意力机制来解决这些问题。
不想敲代码！！！·2024-08-29 22:36

基于霜冰优化算法(RIME)优化CNN-BiGUR-Attention风电功率预测研究（Matlab代码实现）

本文目录如下：目录⛳️赠与读者1概述一、研究背景与意义二、技术概述1.霜冰优化算法（RIME）2.卷积神经网络（CNN）3.双向门控循环单元（BiGRU）4.注意力机制（AttentionMechanism
程序辅导帮·2024-08-28 23:57

语音识别技能汇总

语音识别技能汇总常见问题汇总importwarningswarnings.filterwarnings('ignore')基础知识Attention-注意力机制原理：人在说话的时候或者读取文字的时候，是根据某个关键字或者多个关键字来判断某些句子或者说话内容的含义的
语音不识别·2024-08-28 14:25

Python深度学习：构建下一代智能系统

为了帮助广大学员更加深入地学习人工智能领域最近3-5年的新理论与新技术，本文讲解注意力机制、Transformer模型（BERT、GPT-1/2/3/3.5/4、DETR、ViT、SwinTransformer
2401_83402415·2024-08-28 10:04

【LSTM回归预测】遗传算法优化注意力机制的长短时记忆神经网络GA-attention-LSTM数据回归预测【含Matlab源码 3738期】

⛄一、遗传算法优化注意力机制的长短时记忆神经网络GA-attention-LSTM数据回归预测风力发电是一种清洁能源，越来越受到人们的关注和重视。
Matlab领域·2024-08-28 02:46

时序预测|基于变分模态分解-时域卷积-双向长短期记忆-注意力机制多变量时间序列预测VMD-TCN-BiLSTM-Attention

时序预测|基于变分模态分解-时域卷积-双向长短期记忆-注意力机制多变量时间序列预测VMD-TCN-BiLSTM-Attention文章目录前言时序预测|基于变分模态分解-时域卷积-双向长短期记忆-注意力机制多变量时间序列预测
机器不会学习CL·2024-08-27 08:13

基于白鲸优化算法(BWO)优化CNN-BiGUR-Attention风电功率预测研究（Matlab代码实现）

本文目录如下：目录⛳️赠与读者1概述一、研究背景与意义二、算法介绍1.白鲸优化算法（BWO）2.卷积神经网络（CNN）3.双向门控循环单元（BiGRU）4.注意力机制（Attention）三、模型构建与优化
科研_研学社·2024-08-27 06:33

基于霜冰优化算法(RIME)优化CNN-BiGUR-Attention风电功率预测研究（Matlab代码实现）

本文目录如下：目录⛳️赠与读者1概述一、研究背景与意义二、技术概述1.霜冰优化算法（RIME）2.卷积神经网络（CNN）3.双向门控循环单元（BiGRU）4.注意力机制（AttentionMechanism
创新优化代码学习·2024-08-27 05:57

深度学习学习经验——变换器（Transformer）

变换器（Transformer）变换器（Transformer）是一种用于处理序列数据的深度学习模型，与循环神经网络（RNN）不同，它不依赖于顺序处理数据，而是依靠一种称为注意力机制（AttentionMechanism
Linductor·2024-08-26 19:44

深度学习--Transformer和BERT区别详解

Transformer的概念、作用、原理及应用概念Transformer是一种基于注意力机制（AttentionMechanism）的神经网络架构，由Vaswani等人在2017年提出。
Ambition_LAO·2024-08-26 08:36

YOLOv10改进 | 独家创新- 注意力篇 | YOLOv10结合全新多尺度动态增强注意力机制DSAttention(全网独家创新)

1.DSAttention介绍DSAttention注意力机制在图像特征提取中具有以下优点：(1).全局信息捕捉能力：DSAttention机制通过使用软注意力机制（SoftmaxAttention）来计算特征图的全局相关性
小李学AI·2024-08-26 07:27

23 注意力机制—BERT

目录BERT预训练NLP里的迁移学习BERTBERT动机BERT预训练NLP里的迁移学习在计算机视觉中比较流行，将ImageNet或者更大的数据集上预训练好的模型应用到其他任务中，比如小数据的预测、图片分类或者是目标检测使用预训练好的模型（例如word2vec或语言模型）来抽取词、句子的特征做迁移学习的时候，一般不更新预训练好的模型在更换任务之后，还是需要构建新的网络来抓取新任务需要的信息使用预训
Unknown To Known·2024-08-25 01:57

informer+TCN+通道注意力机制+SSA时间序列模型预测

1.1Informer的关键机制稀疏自注意力机制（ProbSparseAttention）：传统的Transformer使用全局自注意力机制，即对于输入的每个时间步，它都计算与其
成为深度学习高手·2024-08-23 23:12

深度学习，创新点，模型改进

深度学习添加创新点①在现有模型上添加自己的创新点②或者混合多个模型等等③提供创新点添加各种注意力机制，各种模型block。
揽星河@·2024-08-23 21:00

【深度学习】吴恩达-课后作业-搭建多层神经网络以及应用

基本也忘得差不多了，这几周回顾了一下深度学习这门课的笔记，看了别的博主的总结，对CNN，RNN,LSTM,注意力机制等网络结构进行了复盘，虽然感觉自己很心浮气躁，一边也在学集成学习那几个算法和推荐系统相关
—Xi—·2024-08-23 10:17

注意力机制在Transformer模型中的原理与应用

很高兴能为您撰写这篇关于"注意力机制在Transformer模型中的原理与应用"的技术博客文章。作为一位世界级的人工智能专家和计算机领域大师,我将以专业、深入、实用的角度来全面探讨这个重要的技术主题。
AGI通用人工智能之禅·2024-08-22 17:36

YOLOv9改进 添加可变形注意力机制DAttention

arxiv.org/pdf/2201.00520.pdf二、DeformableAttentionTransformer注意力结构DeformableAttentionTransformer包含可变形注意力机制
学yolo的小白·2024-03-16 05:06

Transformer、BERT和GPT 自然语言处理领域的重要模型

区别：架构：Transformer是一种基于自注意力机制的神经网络架构，用于编码输入序列和解码输出序列。
Jiang_Immortals·2024-03-08 23:21

Transformer结构介绍和Pyotrch代码实现

代码实现关注B站查看更多手把手教学：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频(bilibili.com)基本结构介绍Transformer结构是近年来自然语言处理（NLP）领域的重要突破，它完全基于注意力机制
肆十二·2024-03-03 15:35

金融贷款风险预测：使用图神经网络模型进行违约概率评估

要使用PyTorch和GNN（图神经网络）来预测金融贷款风险，并加入注意力机制，我们首先需要构建一个贷款风险预测的图数据集。然后，我们将设计一个基于注意力机制的GNN模型。
从零开始学习人工智能·2024-02-29 13:52

Mamba 作者谈 LLM 未来架构

文章目录前言1、为什么注意力机制有效？2、注意力计算量呈平方级增长3、StripedHyena是个什么模型？4、什么是Mamba?
JOYCE_Leo16·2024-02-28 20:04

Attention注意力机制

网上的文章总把Attention注意力机制和Transformer模型结合来讲，看起来非常复杂。实际上Attention不仅作用于自然语言处理领域，目前已是很通用的技术。
xieyan0811·2024-02-25 16:44

10 中科院1区期刊优化算法|基于开普勒优化-卷积-双向长短期记忆网络-注意力时序预测Matlab程序KOA-CNN-BiLSTM-Attention

文章目录一、开普勒优化算法二、CNN卷积神经网络三、BiLSTM双向长短期记忆网络四、注意力机制五、KOA-CNN-BiLSTM-Attention时间序列数据预测模型六、获取方式一、开普勒优化算法基于物理学定律的启发
机器不会学习CSJ·2024-02-20 21:59

06基于WOA-CNN-BiLSTM-Attention鲸鱼优化-卷积-双向长短时记忆-注意力机制的数据分类算法

基于WOA-CNN-BiLSTM-Attention鲸鱼优化-卷积-双向长短时记忆-注意力机制的数据分类算法鲸鱼智能优化基本原理鲸鱼智能优化算法（WhaleOptimizationAlgorithm，WOA
机器不会学习CSJ·2024-02-20 21:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他