注意力机制

环境感知算法——4.RandLA-Net基于SemanticKITTI训练

尽管随机采样可能会丢掉一些有用的信息，但通过局部空间编码和基于注意力机制的池化中提取和保留关键信息得到了缓解。RandLA-Net利用局部特征整合（LocalFea
Augenstern-YaoYao·2023-11-13 14:35

transfomer模型——简介，代码实现，重要模块解读，源码，官方

一、什么是transfomerTransformer是一种基于注意力机制（attentionmechanism）的神经网络架构，最初由Vaswani等人在论文《AttentionIsAllYouNeed
一路向前，积极向上·2023-11-12 22:43

深度学习经典和最新模型

1.深度学习基础-线性神经网络，多层感知器2.卷积神经网络-lenet，alexnet，vgg，inception，resnet3.循环神经网络-RNN，GRU，LSTM,seq2seq4.注意力机制-
钟逸0822·2023-11-12 06:17

YOLOv5改进系列（5）——替换主干网络之 MobileNetV3

【YOLOv5改进系列】前期回顾：YOLOv5改进系列（0）——重要性能指标与训练结果评价及分析YOLOv5改进系列（1）——添加SE注意力机制YOLOv5改进系列（2&#
路人贾'ω'（考公中）·2023-11-12 05:00

YOLOv5算法进阶改进（1）— 改进数据增强方式 + 添加CBAM注意力机制

而后，为了更进一步提升检测精度，在backbone中嵌入了CBAM注意力机制模块，通过对特征通道和空间的学习，使得网络能够更好地提取到有用特征并抑制不重要特征。实验结果表明，改进后的网络在数据集
小哥谈·2023-11-12 05:51

YOLOv7改进：RefConv | 即插即用重参数化重聚焦卷积替代常规卷积，无额外推理成本下涨点明显

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点3.涨点效果：RefConv,实现有效涨点！
dg68668·2023-11-12 05:00

YOLOV8改进：动态蛇形卷积，多视角特征融合策略与连续性拓扑约束损失

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。3.涨点效果：动态蛇形卷积,实现有效涨点！
dg68668·2023-11-12 05:30

YOLOV8改进：RefConv（即插即用重参数化重聚焦卷积替代常规卷积，无额外推理成本下涨点明显）

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点3.涨点效果：RefConv,实现有效涨点！
dg68668·2023-11-12 05:30

YOLOV5改进：RefConv | 即插即用重参数化重聚焦卷积替代常规卷积，无额外推理成本下涨点明显

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点3.涨点效果：RefConv,实现有效涨点！
dg68668·2023-11-12 05:19

YOLOv8-seg改进：复现HIC-YOLOv5，HIC-YOLOv8-seg助力小目标分割

HIC-YOLOv8-seg：1)添加一个针对小物体的额外预测头，以提供更高分辨率的特征图2）在backbone和neck之间采用involutionblock来增加特征图的通道信息；3）在主干网末端加入CBAM的注意力机制
会AI的学姐·2023-11-11 19:37

注意力机制QKV在GAT（Graph Attention Network）的体现

注意力机制其实并没有规定Q、K、V的具体来源，GAT是规定了一套Q、K、V，自注意力是规定了另一套Q、K、V。核心其实只要计算满足下图的矩阵形式计算流程就是所谓的注意力机制了。
重剑DS·2023-11-11 17:38

YOLOv5改进 | 添加CA注意力机制 + 增加预测层 + 更换损失函数之GIoU

首先，在YOLOv5s模型的Neck网络层融合坐标注意力机制，以提升模型的特征提取能力；其次，增加一个预测层来提升对小目标的检测性能；进一步地，利用K-means聚类算法得到数据集合适的anchor框；
小哥谈·2023-11-11 15:02

2021斯坦福CS224N课程笔记~7

7.机器翻译，序列到序列、注意力机制参考文献：https://zhuanlan.zhihu.com/p/430709084https://zhuanlan.zhihu.com/p/147310766【简易
mwcxz·2023-11-11 14:17

时序预测 | MATLAB实现WOA-CNN-BiGRU-Attention时间序列预测（SE注意力机制）

时序预测|MATLAB实现WOA-CNN-BiGRU-Attention时间序列预测（SE注意力机制）目录时序预测|MATLAB实现WOA-CNN-BiGRU-Attention时间序列预测（SE注意力机制
机器学习之心·2023-11-11 12:30

时序预测 | MATLAB实现WOA-CNN-GRU-Attention时间序列预测（SE注意力机制）

时序预测|MATLAB实现WOA-CNN-GRU-Attention时间序列预测（SE注意力机制）目录时序预测|MATLAB实现WOA-CNN-GRU-Attention时间序列预测（SE注意力机制）预测效果基本描述模型描述程序设计参考资料预测效果基本描述
机器学习之心·2023-11-11 12:54

循环神经网络、注意力机制、Seq2Seq、Transformer与卷积神经网络（打卡2）

一、过拟合和欠拟合接下来，我们将探究模型训练中经常出现的两类典型问题：一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。正
机器小白猫·2023-11-11 10:12

2022年T2I文本生成图像 中文期刊论文速览-1（ECAGAN:基于通道注意力机制的文本生成图像方法+CAE-GAN:基于Transformer交叉注意力的文本生成图像技术）

2022年T2I文本生成图像中文期刊论文速览-1一、ECAGAN:基于通道注意力机制的文本生成图像方法1.1、主要创新1.2、主要框架1.2.1、低分辨率图像生成阶段1.2.2、图像精炼阶段1.3、损失函数
中杯可乐多加冰·2023-11-11 09:08

CBAM：Convolutional Block Attention Module

CBAM（ConvolutionalBlockAttentionModule）是一种深度学习领域的注意力机制，旨在增强卷积神经网络对图像特征的建模和表示能力。
BestSongC·2023-11-11 02:33

BAM（Bottleneck Attention Module）

BAM模块引入了通道注意力机制，能够自适应地加强或减弱不同通道的特征响应，从而提高了模型的性能。BAM的整体结构如下图所示。
BestSongC·2023-11-11 02:33

多篇论文介绍-摘要

论文地址https://arxiv.org/pdf/2301.10051.pdf目录01CIEFRNet：面向高速公路的抛洒物检测算法02改进YOLOv5的PDC钻头复合片缺损识别03基于SimAM注意力机制的
森爱。·2023-11-09 22:45

论文阅读：BPFINet: Boundary-aware progressive feature integration network for salient object detection

github.com/clelouch/BPFINet发表于：Neurocomputing2021I.Intro这个网络是用来进行显著目标检测的主要工作在于一个USRM模块进行特征的细化，CCM模块实现更好的通道注意力机制
xiongxyowo·2023-11-09 22:13

多篇论文介绍-Wiou

论文地址目录https://arxiv.org/pdf/2301.10051.pdf01CIEFRNet：面向高速公路的抛洒物检测算法02改进YOLOv5的PDC钻头复合片缺损识别03基于SimAM注意力机制的
森爱。·2023-11-09 22:09

论文笔记：CROSSFORMER: TRANSFORMER UTILIZING CROSSDIMENSION DEPENDENCY FOR MULTIVARIATE TIME SERIES FOREC

利用时间维度的自注意力机制，建立不同时间步之间的关系而在多元时间序列预测中，各个变量之间的关系也很重要。
UQI-LIUWJ·2023-11-09 14:26

论文阅读笔记：Extended Vision Transformer (ExViT) for Land Use and Land Cover Classification

摘要注意力机制驱动的深度模型最近取得了成功，如最具代表性的视觉转换器（ViT），吸引了一波高级研究来探索它们对更广泛领域的适应。
ru-willow·2023-11-09 08:42

2022最新版-李宏毅机器学习深度学习课程-P34 自注意力机制类别总结

在课程的transformer视频中，李老师详细介绍了部分self-attention内容，但是self-attention其实还有各种各样的变化形式：一、Self-attention运算存在的问题在self-attention中，假设输入序列（query）长度是N，为了捕捉每个value或者token之间的关系，需要产生N个key与之对应，并将query与key之间做dot-product，就可
QwQllly·2023-11-09 07:06

论文阅读笔记：STAN: Spatio-Temporal Attention Network for Next Location Recommendation

本文旨在提出一种基于注意力机制的神经网络架构，考虑用户
UQI-LIUWJ·2023-11-09 02:15

结合双向LSTM和注意力机制的DQN-CE算法船舶能量调度

ShipEnergySchedulingwithDQN-CEAlgorithmCombiningBi-directionalLSTMandAttentionMechanism【AppliedEnergy】结合双向LSTM和注意力机制的
智能学习者·2023-11-08 10:00

时序预测 | MATLAB实现WOA-CNN-BiLSTM-Attention时间序列预测（SE注意力机制）

时序预测|MATLAB实现WOA-CNN-BiLSTM-Attention时间序列预测（SE注意力机制）目录时序预测|MATLAB实现WOA-CNN-BiLSTM-Attention时间序列预测（SE注意力机制
机器学习之心·2023-11-08 09:41

多维时序 | MATLAB实现TCN-selfAttention自注意力机制结合时间卷积神经网络多变量时间序列预测

多维时序|MATLAB实现TCN-selfAttention自注意力机制结合时间卷积神经网络多变量时间序列预测目录多维时序|MATLAB实现TCN-selfAttention自注意力机制结合时间卷积神经网络多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍
机器学习之心·2023-11-08 09:11

Attention Mechanisms in Computer Vision A Survey（注意力机制综述）

AttentionMechanismsinComputerVision:ASurvey论文地址：https://arxiv.org/pdf/2111.07624.pdf贡献：这篇论文的贡献是对计算机视觉中注意力机制进行了全面的综述和分析
微醺的水·2023-11-07 23:44

YOLOv8 C2f模块融合shuffleAttention注意力机制

1.引言1.1YOLOv8直接添加注意力机制yolov8添加注意力机制是一个非常常见的操作，常见的操作直接将注意力机制添加至YOLOv8的某一层之后，这种改进特别常见。
有趣的野鸭·2023-11-07 22:34

YoloV5改进策略：独家原创，LSKA（大可分离核注意力）改进YoloV5，比Transformer更有效，包括论文翻译和实验结果

：重新思考CNN大核注意力设计》1、简介2、相关工作3、方法4、实验5、消融研究6、与最先进方法的比较7、ViTs和CNNs的鲁棒性评估基准比较8、结论YoloV5官方代码测试结果改进一：使用LSKA注意力机制重构
静静AI学堂·2023-11-07 04:43

YoloV7改进策略：独家原创，LSKA（大可分离核注意力）改进YoloV7，比Transformer更有效，包括论文翻译和实验结果

大可分离核注意力）：重新思考CNN大核注意力设计》1、简介2、相关工作3、方法4、实验5、消融研究6、与最先进方法的比较7、ViTs和CNNs的鲁棒性评估基准比较8、结论YoloV7官方测试结果改进一：使用LSKA注意力机制重构
静静AI学堂·2023-11-07 04:41

时间序列预测模型实战案例(八)(Informer)个人数据集、详细参数、代码实战讲解

Informer模型进行时间序列预测的实战案例，它是在2019年被提出并在ICLR2020上被评为BestPaper，可以说Informer模型在当今的时间序列预测方面还是十分可靠的，Informer模型的实质是注意力机制
Snu77·2023-11-07 04:12

时间序列预测模型实战案例(七)(TPA-LSTM)结合TPA注意力机制的LSTM实现多元预测

论文地址->TPA-LSTM论文地址项目地址->TPA-LSTM时间序列预测实战案例本文介绍本文通过实战案例讲解TPA-LSTM实现多元时间序列预测，在本文中所提到的TPA和LSTM分别是注意力机制和深度学习模型
Snu77·2023-11-07 04:40

Centralized Feature Pyramid for Object Detection解读

尽管一些方法试图在注意力机制或视觉变换器的帮助下学习紧凑的层内特征表示，但它们忽略了对密集预测任务非常重要的被忽略的角点区域。
GolvenDong·2023-11-06 12:24

YOLOv8-Seg改进：动态稀疏注意力（BiLevelRoutingAttention）助力分割 | CVPR2023

本文改进：动态稀疏注意力（BiLevelRoutingAttention），实现更灵活的计算分配和内容感知，使其具备动态的查询感知稀疏性，引入到YOLOv8-Seg任务中，1）与C2f结合实现二次创新；2）注意力机制使用
会AI的学姐·2023-11-06 03:59

YOLOv8优化：注意力系列篇 | 小目标涨点系列篇 | 多尺度空洞注意力（MSDA） | 中科院一区顶刊

本文改进：新的注意力机制——多尺度空洞注意力（MSDA）。
会AI的学姐·2023-11-06 03:28

解读干货：词语对齐的注意力机制，提升中文预训练模型效果

©原创作者|疯狂的Max背景及动机大部分中文预训练模型都以单个字作为基础单元，而忽略了中文是以词语为最小语义单元的语言特性。与英文不同，中文词语并不会以空格隔开，因此预训练模型在中文任务上都直接以单个字符来进行模型构建，但是事实上单个的中文字是带有歧义的，比如“拍”在词语“球拍”和“拍卖”中带有的语义完全不同。近来的研究也表明将分词信息融入预训练模型中，可以让预训练模型更好的理解语义并在不同的中文
NLP论文解读·2023-11-05 12:23

注意力机制SimAM代码（Pytorch）

SimAM:ASimple,Parameter-FreeAttentionModuleforConvolutionalNeuralNetworks论文链接：http://proceedings.mlr.press/v139/yang21o.htmlcode:https://github.com/ZjjConan/SimAMimporttorchimporttorch.nnasnnclasssima
我爱编程爱我·2023-11-05 10:26

Pytorch 注意力机制解析与代码实现

目录什么是注意力机制1、SENet的实现2、CBAM的实现3、ECA的实现4、CA的实现什么是注意力机制注意力机制是深度学习常用的一个小技巧，它有多种多样的实现形式，尽管实现方式多样，但是每一种注意力机制的实现的核心都是类似的
Python图像识别·2023-11-05 09:24

基于YOLOv8的交通摄像头下车辆检测算法（七）：HIC-YOLOv8复现HIC-YOLOv5，助力小目标检测，涨点明显

HIC-YOLOv8，1)添加一个针对小物体的额外预测头，以提供更高分辨率的特征图2）在backbone和neck之间采用involutionblock来增加特征图的通道信息；3）在主干网末端加入CBAM的注意力机制
会AI的学姐·2023-11-05 08:28

Yolov8改进CoTAttention注意力机制，效果秒杀CBAM、SE

它是在经典的注意力机制（AttentionMechanism）上进行了改进，能够自适应地对不同的视觉和语言输入进行注意力分配，从而更好地完成VQA任务。CoTAttentio
code2035·2023-11-04 14:31

【论文解读 MM 2017 | att-RNN】Multimodal Fusion with RNNs for Rumor Detection on Microblogs

MultimodalFusionwithRecurrentNeuralNetworksforRumorDetectiononMicroblogs论文来源：MM2017论文链接：https://doi.org/10.1145/3123266.3123454关键词：多模态融合，谣言检测，LSTM，注意力机制
byn12345·2023-11-04 04:44

Attention is all you need 论文阅读

性能最好的模型还通过注意力机制连接编码器和解码器提出Transformer，它完全基于注意力机制，完全不需要递归和卷积对两个机器翻译任务的实验表明，这些模型具有卓越的质量，同时具有更高的并行性，并且需要的训练时间显着减少
KrMzyc·2023-11-03 18:48

YOLOv8将注意力机制融合进入C2f模块

1.引言1.1YOLOv8添加注意力机制方法yolov8添加注意力机制是一个非常常见的操作，常见的操作直接将注意力机制添加至YOLOv8的某一层之后，这种改进特别常见。
有趣的野鸭·2023-11-03 09:23

目标检测YOLO实战应用案例100讲-基于改进YOLOv4算法的自动驾驶场景 目标检测（续）

目录3.2.3Neck3.2.4Head3.3基于注意力机制的SimAM-YOLOv4目标检测算法研究3.3.1注意力机制
林聪木·2023-11-03 07:28

Transformer的Q、K、V和Mutil-Head Self-Attention（超详细解读）

一.什么是Q、K、VTransformer中的Q、K和V是指在自注意力机制（self-at
陈子迩·2023-11-03 07:20

python简单实现注意力机制

importnumpyasnpimporttorch.nnasnnfromsklearn.metrics.pairwiseimportcosine_similaritysoftmax=nn.Softmax()#设置查询向量和待查询向量q=np.array([[1,2,3]])#使用cosine_similarity函数必须为二维向量v=np.array([[1,2,3],[4,5,6]])#计算q
嘿，兄弟，好久不见·2023-11-03 00:06

小目标检测3_注意力机制_Self-Attention

主要参考：(强推)李宏毅2021/2022春机器学习课程P38、39李沐老师：64注意力机制【动手学深度学习v2】手把手带你Yolov5(v6.1)添加注意力机制(一)（并附上30多种顶会Attention
zxm_·2023-11-02 21:39
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他