注意力机制

EPSANet：金字塔拆分注意力模块

编辑：Happy首发：AIWalker本文是深圳大学&西安交大在注意力机制方面的探索，在通道注意力的基础上，引入多尺度思想，构建了本文所提的即插即用EPSA模块。
HappyAIWalker·2023-09-09 11:49

YOLOV7改进-添加基于注意力机制的目标检测头(DYHEAD)

DYHEAD复制到这：1、models下新建文件2、yolo.py中import一下3、改IDetect这里4、论文中说6的效果最好，但参数量不少，做一下工作量5、在进入IDetect之前，会对RepConv做卷积5、因为DYHEAD需要三个层输入的特征层一致，所以需要改为一样的。256或者512都行6、提前安装的命令
毕竟是shy哥·2023-09-09 10:16

【AI理论学习】语言模型：BERT的优化方法

语言模型：BERT的优化方法图解XLNet模型1.排列语言模型（PermutationLanguageModeling）2.XLNet融入Transformer-XL理念3.使用双流自注意力机制（Two-StreamSelf-Attention
镰刀韭菜·2023-09-09 01:43

Yolov5 中添加注意力机制 CBAM

Yolov5中添加注意力机制CBAM1.CBAM1.1ChannelAttentionModule1.2SpatialAttentionModule1.3Channelattention和Spatialattention
坐在墙上的猫·2023-09-09 01:02

YOLOv5改进系列（23）——替换主干网络之MobileViTv2（移动视觉 Transformer 的高效可分离自注意力机制）

【YOLOv5改进系列】前期回顾：YOLOv5改进系列（0）——重要性能指标与训练结果评价及分析YOLOv5改进系列（1）——添加SE注意力机制
路人贾'ω'·2023-09-08 10:27

[论文必备]梯度加权的类激活热力图（Grad-CAM）可视化以及踩坑经历分享

最近在写论文期间因为要对比不同注意力机制加在不同位置的作用效果，于是利用热力图做了可视化分析。
路人贾'ω'·2023-09-08 10:27

YOLOv5改进系列（22）——替换主干网络之MobileViTv1（一种轻量级的、通用的移动设备 ViT）

【YOLOv5改进系列】前期回顾：YOLOv5改进系列（0）——重要性能指标与训练结果评价及分析YOLOv5改进系列（1）——添加SE注意力机制
路人贾'ω'·2023-09-08 10:27

YOLOV8改进：TripletAttention | 即插即用的轻量级注意力机制

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。3.涨点效果：TripletAttention，轻量级注意力机制,实现有效涨点！
dg68668·2023-09-08 08:55

YOLOv5改进算法之添加CA注意力机制模块

目录1.CA注意力机制2.YOLOv5添加注意力机制送书活动1.CA注意力机制CA（CoordinateAttention）注意力机制是一种用于加强深度学习模型对输入数据的空间结构理解的注意力机制。
山河亦问安·2023-09-08 08:22

SENet网络分析

文章目录注意力机制：AttentionBiasedCompetitionTheorybottom-up和top-down注意力SEBlockSqueeze操作Excitation操作scale操作与原结构合并计算复杂度评估实验与其他网络对比数据集实验内部参数对比实验进一步评估
新兴AI民工·2023-09-08 03:05

Spatial Transformer Networks-空间注意力机制

文章目录前言网络结构-SpatialTransformerNetworks仿射变换spatialtransformerLocalisationNetworkParameterisedSamplingGridDifferentiableImageSamplingSpatialTransformerNetworks对比实验MNIST数据集StreetViewHouseNumbers，SVHN数据集Fi
新兴AI民工·2023-09-08 03:05

yolov7添加注意力机制

yolov7结构图方法：直接在common里改，在相关的后面加上就行1、接受通道数的注意力机制1、目的：在三个输出地方添加注意力yolov7.yaml文件，换成其他模块注意力链接2、models下建SE.py3
毕竟是shy哥·2023-09-07 22:13

ChatGLM学习

https://arxiv.org/pdf/2210.02414.pdf前置知识补充双流自注意力Two-streamself-attentionmechanism（双流自注意机制）是一种用于自然语言处理任务的注意力机制
银晗·2023-09-07 22:20

详解Vision Transformer中的Encoder

包含InputEmbeddingPositionalEncoding多头注意力机制+Add&Norm(前馈网络)FeedForward+Add&Norm2.1InputEmbedding2.2PositionalE
computer_vision_chen·2023-09-07 16:58

YOLOV8模型改进-添加CBAM注意力机制

1.CBAM介绍CBAM注意力机制是yolov8自带的注意力机制，它是通道注意模块和空间注意模块的结合。
Dragon_0010·2023-09-07 10:20

【继RNN之后的一项技术】Transfomer 学习笔记

以下内容参考李沐老师的课程《动⼿学深度学习(Pytorch版)》简介注意力自主性：有目的的搜索某样东西（键）非自住性：无目的的关注某样东西（值）两种注意力机制的关系如下图所示：多头注意力模型数学表示：给定查询
jjjhut·2023-09-07 07:16

多维时序 | MATLAB实现GWO-BiLSTM灰狼算法优化双向长短期记忆神经网络的多变量时间序列预测

灰狼算法优化双向长短期记忆神经网络的多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍MATLAB实现CNN-BiGRU-Attention多变量时间序列预测，CNN-BiGRU-Attention结合注意力机制多变量时间序列
机器学习之心·2023-09-07 04:47

YOLOv5添加注意力机制

添加SE注意力机制第一步添加代码-SE类-models/common.py第二步添加注意力关键词-models/yolo.py第三步创建配置文件-models/yolov5s_SE.yaml第四步修改读取配置
澄鑫·2023-09-07 02:02

NLP（2）--Transformer

ATvsNAT八、Cross-attention一、Transformer概述Transformer模型发表于2017年Google团队的AttentionisAllyouneed这篇论文，完全基于自注意力机制模型和前馈神经网络绘制输入和输出之间的全局依赖关系
Struart_R·2023-09-06 15:26

Lite transformer

图片以及思想来源请参考论文LiteTransformerwithLong-ShortRangeAttention瓶颈结构（bottleneck）是否真的有效注意力机制被广泛应用在诸多领域，包括自然语言处理
寂静的以·2023-09-06 11:55

《Neural Attentive Item Similarity Model》论文阅读笔记

该模型将注意力机制和神经网络相结合，提升了模型的预测准确性。接下来，我们将从基本的Item
白兔记·2023-09-05 18:20

YOLOv5、YOLOv7 注意力机制改进SEAM、MultiSEAM、TripletAttention

用于学习记录文章目录前言一、SEAM、MultiSEAM1.1models/common.py1.2models/yolo.py1.3models/SEAM.yaml1.4models/MultiSEAM.yaml1.5SEAM训练结果图1.6MultiSEAM训练结果图二、TripletAttention2.1models/common.py2.2models/yolo.py2.3yolov7/
701044·2023-09-05 16:55

YOLOV7 添加 CBAM 注意力机制

用于学习记录文章目录前言一、CBAM1.1models/common.py1.2models/yolo.py1.3yolov7/cfg/training/CBAM.yaml2.4CBAM训练结果图前言一、CBAMCBAM:ConvolutionalBlockAttentionModule1.1models/common.pyclassChannelAttention(nn.Module):def_
701044·2023-09-05 16:52

深度学习技巧应用26-CNN中多种注意力机制的嵌入方法，终于搞懂注意力机制了

大家好，我是微学AI，今天给大家介绍一下深度学习技巧应用26-CNN中多种注意力机制的嵌入方法，终于搞懂注意力机制了。CNN是一种能够有效处理图像和其他二维数据的深度学习模型。
微学AI·2023-09-05 15:33

一文讲解Transformer

我们本篇文章来详细讲解Transformer:首次提出在：Attentionisallyouneed(arxiv.org)简单来说，Transfomer就是一种Seq2seq结构，它基于多头自注意力机制
jxwd·2023-09-05 05:57

NLP（1）--NLP基础与自注意力机制

词向量离散表示1、one-hot2、Bagofwords3、TF-IDF表示4、Bi-gram和N-gram三、词向量分布式表示1、Skip-Gram表示2、CBOW表示四、RNN五、Seq2Seq六、自注意力机制
Struart_R·2023-09-05 00:25

深度解析BERT：从理论到Pytorch实战

我们探讨了BERT的核心特点，包括其强大的注意力机制和与其他Transformer架构的差异。关注TechLead，分享AI全维度知识。
TechLead KrisChang·2023-09-04 23:11

注意力机制学习（全公式）

文章目录注意力起源背景解法【1】【2】【3】注意力函数形式【1】Nadaraya-Watson函数展开【2】采用Nadaraya-Watson函数高斯展开注意力机制表达式注意力-掩蔽函数加性注意力缩放点积注意力
赛文忆莱文·2023-09-04 16:48

ChatRWKV 学习笔记和使用指南

0x0.前言ReceptanceWeightedKeyValue（RWKV）是pengbo提出的一个新的语言模型架构，它使用了线性的注意力机制，把Transformer的高效并行训练与RNN的高效推理相结合
just_sort·2023-09-04 05:53

xlnet+bilstm实现菜品正负评价分类

xlnet作为bert的升级模型，主要在以下三个方面进行了优化采用AR模型替代AE模型，解决mask带来的负面影响双流注意力机制引入transformer-xl今天我们使用xl
静静AI学堂·2023-09-04 03:16

RFAConv:创新空间注意力和标准卷积操作

文章目录摘要1、引言2、相关工作2.1卷积神经网络架构2.2、注意力机制3、方法3.1、回顾标准卷积运算3.2回顾空间注意力3.3、空间注意力与标准卷积操作3.4、创新空间注意力和标准卷积操作4、实验4.1ImageNet
静静AI学堂·2023-09-04 03:13

seq2seq与引入注意力机制的seq2seq

1、什么是seq2seq？就是字面意思，“句子到句子”。比如翻译。2、seq2seq有一些特点seq2seq的整体架构是“编码器-解码器”。其中，编码器是RNN，并将最后一个hiddenstate（隐藏状态）【即：包含了整个句子的所有特征】作为编码器的输入；解码器使用另一个RNN去输出。编码器-解码器：输入→Encoder→中间状态→Decoder（←新输入）→输出与一般的模型不同的是，在Deco
nor1take·2023-09-04 02:48

PixelSNAIL论文代码学习（3）——自注意力机制的实现

文章目录引言正文介绍自注意力机制的简单实现样例本文中的自注意力机制具体实现代码分析nn.nin函数的具体实现nn.causal_attention模块实现注意力模块实现代码完整实现代码使用pytorch
客院载论·2023-09-03 20:55

边写代码边学习之TF Attention

1.Attention背景介绍通常注意力机制可以使得网络资源集中到某几个需要关注的部分上，和有选择性的弱化对网络结果不重要的部分。
茫茫人海一粒沙·2023-09-03 14:23

史上最详细Transformer讲解以及transformer实现中文版完形填空（掩蔽字训练MASK） 内容详细易懂且附有全部代码

1.3Transformer一些前置知识2.aTransformer-Encoder结构（模型左半部分）2.1输入部分Embedding2.1.1one-hot编码2.1.2word2vec编码2.2注意力机制
herry_drj·2023-09-03 03:33

PyTrch深度学习简明实战32 - 自注意力机制

image.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngim
薛东弗斯·2023-09-02 21:51

解码注意力Attention机制：从技术解析到PyTorch实战

目录引言历史背景重要性二、注意力机制基础概念定义组件注意力机制的分类举例说明三、注意力机制的数学模型基础数学表达式注意力函数计算权重数学意义举例解析四、注意力网络在NLP中的应用机器翻译代码示例文本摘要代码示例命名实体识别
TechLead KrisChang·2023-09-02 11:24

论文阅读：Image as Set of Points

ViTs把图像认为是块的序列，通过注意力机制在全局范围内进行特征提取。
专注认真努力·2023-09-01 19:31

NLP模型（五）——Transformer模型实现（以一个小型文本翻译为例子）

数据集处理1.1提取源和目标1.2获取词典1.3字符串转为编号1.4得到输入输出2.制作数据管道3.构建模型3.1模型整体架构3.2编码器3.2.1Encoder整体结构3.2.2位置编码3.2.3多头注意力机制
Suppose-dilemma·2023-09-01 14:17

YOLOV5/YOLOV7/YOLOV8改进：用于低分辨率图像和小物体的新 CNN 模块SPD-Conv

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。3.涨点效果：SPD-Conv提升小目标识别,实现有效涨点！
dg68668·2023-09-01 05:26

YOLOV8改进：更换为MPDIOU,实现有效涨点

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。2.涨点效果：更换为MPDIOU,实现有效涨点！
dg68668·2023-09-01 05:22

多头自注意力机制的代码实现

文章目录1、自注意力机制2、多头注意力机制transformer的整体结构：1、自注意力机制自注意力机制如下：计算过程：代码如下：classScaledDotProductAttention(nn.Module
masterleoo·2023-09-01 01:34

Giraffe: Adventures in Expanding Context Lengths in LLMs

Giraffe：LLM中扩展上下文长度的冒险摘要1引言2相关工作3评估长下文的外推性4上下文长度外推技术5结果与讨论6结论与不足摘要依赖于注意力机制的现代大型语言模型（LLM）通常使用固定的上下文长度进行训练
UnknownBody·2023-08-31 21:26

Yolov5 改进之损失函数 SlideLoss & 注意力机制 MultiSEAM

用于学习记录文章目录前言一、SlideLoss1.1utils/loss.py1.2data/hyps/hyp.scratch-low.yaml二、注意力机制MultiSEAM2.1models/common.py2.2models
701044·2023-08-31 08:54

视觉注意力收集

参考博文：神经网络学习小记录64——Pytorch图像处理中注意力机制的解析与代码详解_pynq注意力机制_Bubbliiiing的博客-CSDN博客【计算机视觉】详解自注意力：Non-local模块与
Scabbards_·2023-08-30 09:35

详解深度学习中的注意力机制（Attention）

答案就是注意力机制。2详细介绍https://blog.csdn.net/m0_47146037/article/details/126260922
小宋加油啊·2023-08-30 06:56

时序预测 | MATLAB实现Attention-GRU时间序列预测(注意力机制融合门控循环单元,TPA-GRU)

时序预测|MATLAB实现Attention-GRU时间序列预测----注意力机制融合门控循环单元，即TPA-GRU，时间注意力机制结合门控循环单元目录时序预测|MATLAB实现Attention-GRU
机器学习之心·2023-08-29 18:12

YOLOv5、YOLOv8改进：NAMAttention注意力机制

目录1.简介2.YOLOv5代码修改2.1增加以下NAMAttention.yaml文件2.2common.py配置2.3yolo.py配置1.简介paper:https://arxiv.org/pdf/2111.12419.pdfcode:https://github.com/Christian-lyc/NAM摘要注意机制是近年来人们普遍关注的研究兴趣之一。它帮助深度神经网络抑制较不显著的像素或
陈子迩·2023-08-29 08:46

YOLOv5、YOLOv8改进：CoordAtt注意力机制

目录1.简介2.CoordinateAttention2.2CoordinateAttention生成3.YOLOv5改进3.1common.py构建CoordAtt模块。3.2yolo.py中注册CoordAtt模块3.3yaml文件配置1.简介最近对移动网络设计的研究已经证明了通道注意力（例如，Squeeze-and-Excitationattention）对于提升模型性能的显着有效性，但他们
陈子迩·2023-08-29 08:13

2023.4.23 自注意力机制

引出自注意力机制多向量输入可能会有多种输出，如果输入n个向量，输出n个向量表明这是sequencelabeling，比如对于一个英文句子，每一个单词都判断是什么词性输入n个向量，输出1个向量，这是常见的
一条自私的鱼·2023-08-29 06:23
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他