注意力机制

Dual Attention Network for Scene Segmentation（DANET）

目录背景介绍现有研究成果1、语义分割2、自注意力机制DualAttentionNetwork空间注意力模块通道注意力模块实验分析CityscapesDatasetPASCALVOC2012DatasetCOCOStuffDataset
LN烟雨缥缈·2023-12-03 20:30

秋天的第一个模型——DANet

DANet利用了空间注意力机制和通道注意力机制来捕获图像中的空间和通道信息，从而提高了分割的准确性。
--行者·2023-12-03 20:59

最新！最全！目标检测，实例分割系列，即插即用的模块代码汇总

YOLOV5目标检测换多种主干的方法（含shufflenet，ghostnet，mobilenet，resnet等2，InceptionNeXt当Inception遇见ConvNeXt3，向YOLO系列添加注意力机制
赢勾喜欢海·2023-12-03 10:44

[论文阅读]Generalized Attention——空间注意力机制

GeneralizedAttentionAnEmpiricalStudyofSpatialAttentionMechanismsinDeepNetworks论文网址：GeneralizedAttention论文代码：文章最后有GeneralizedAttention的实现代码简读论文本文主要研究了深度学习网络中的注意力机制
一朵小红花HH·2023-12-03 09:44

多重注意力指导下的异构图嵌入方法

摘要:现有的异构图嵌入学习方法存在两个方面的问题，一是没有考虑不同节点属性间的深层联系，二是通过注意力机制聚合邻居节点来生成目标节点的向量表示，忽略了目标节点的特征在向量表示中起的作用。
罗思付之技术屋·2023-12-03 08:31

工业机器视觉megauging（向光有光）使用说明书（二，轻量级的visionpro）

我们程序中使用注意力机制，其实就是感兴趣区域（roi，你看过我前面博文，就应该明白）精神的延伸，我们只处理全景图中的1024*768区域。
工业机器视觉设计和实现·2023-12-03 06:24

Transformer 的注意力头越多越好么

多头注意力机制的目的是通过捕捉不同的注意力信息来提升AI模型的表达能力。利用多头矩阵的子空间从不同的视角或者说维度来表达输入的数据。
孙庚辛·2023-12-03 04:14

计算机视觉的应用21-基于含有注意力机制的CoAtNet模型的图像分类任务实现，利用pytorch搭建模型

大家好，我是微学AI，今天我给大家介绍一下计算机视觉的应用21-基于注意力机制CoAtNet模型的图像分类任务实现，加载数据进行模型训练。
微学AI·2023-12-02 20:33

更像人脑的新型注意力机制，Meta让大模型自动屏蔽任务无关信息，准确率提高27%...

克雷西发自凹非寺量子位|公众号QbitAI关于大模型注意力机制，Meta又有了一项新研究。通过调整模型注意力，屏蔽无关信息的干扰，新的机制让大模型准确率进一步提升。
QbitAl·2023-12-02 10:28

对 Vision Transformers 及其基于 CNN-Transformer 的变体的综述

AsurveyoftheVisionTransformersanditsCNN-TransformerbasedVariants摘要1、介绍2、vit的基本概念2.1patch嵌入2.2位置嵌入2.2.1绝对位置嵌入(APE)2.2.2相对位置嵌入(RPE)2.2.3卷积位置嵌入(CPE)2.3注意力机制
毕竟是shy哥·2023-12-02 09:27

【代码】CNN-GRU-Attention基于卷积神经网络和门控循环单元网络结合注意力机制的多变量回归预测

程序名称：CNN-GRU-Attention基于卷积神经网络和门控循环单元网络结合注意力机制的多变量回归预测实现平台：matlab代码简介：为更准确地预测，提出基于注意力机制的CNN-GＲU预测模型。
玉子（代码分享版）·2023-12-02 09:56

Transformer：中英文翻译

AttentionIsAllYouNeed一、完整代码二、论文解读2.1模型架构2.2位置编码2.3残差连接和层归一化2.4注意力机制2.5前馈神经网络三、过程实现3.1安装包和导包3.2数据准备3.3
Bigcrab__·2023-12-02 02:45

[transformer]论文实现：Attention Is All You Need

AttentionIsAllYouNeed一、完整代码二、论文解读2.1模型架构2.2位置编码2.3残差连接和层归一化2.4注意力机制2.5前馈神经网络三、过程实现3.1安装包和导包3.2数据准备3.3
Bigcrab__·2023-12-02 02:45

SCI一区级 | Matlab实现GWO-CNN-LSTM-selfAttention多变量多步时间序列预测

GWO-CNN-LSTM-selfAttention多变量多步时间序列预测预测效果基本介绍程序设计参考资料预测效果基本介绍1.Matlab实现GWO-CNN-LSTM-selfAttention灰狼算法优化卷积长短期记忆神经网络融合自注意力机制多变量多步时间序列
机器学习之心·2023-12-01 23:56

在Transformer架构之前，有注意力机制吗？自注意力机制和以往的注意力机制比有什么革新？

在Transformer架构之前，有注意力机制吗？注意力机制在Transformer架构之前就已经存在并被广泛使用。
温柔的行子·2023-12-01 23:01

自注意力机制中的gen_nopeek_mask()函数

"no-peek"掩码通常用于在自注意力机制中，确保模型在生成序列时只能注意到当前位置之前的信息，而不能“窥视”未来的信息。
温柔的行子·2023-12-01 23:28

YoloV8改进策略：三元注意力，小参数大能力，即插即用，涨点自如

文章目录摘要三元注意力机制三元组注意力机制的优点YoloV8实验结果三元注意力代码改进一：将三元注意力加入到C2f模块中，重构C2f模块改进方法测试结果改进二：将三元注意力加入到主干网络后面改进方法测试结果总结摘要注意力机制在计算机视觉领域得到了广泛的研究和应用
静静AI学堂·2023-12-01 19:12

EI级 | Matlab实现TCN-LSTM-Multihead-Attention多头注意力机制多变量时间序列预测

EI级|Matlab实现TCN-LSTM-Multihead-Attention多头注意力机制多变量时间序列预测目录EI级|Matlab实现TCN-LSTM-Multihead-Attention多头注意力机制多变量时间序列预测预测效果基本介绍程序设计参考资料预测效果基本介绍
机器学习之心·2023-12-01 14:46

EI级 | Matlab实现TCN-BiLSTM-Multihead-Attention多头注意力机制多变量时间序列预测

EI级|Matlab实现TCN-BiLSTM-Multihead-Attention多头注意力机制多变量时间序列预测目录EI级|Matlab实现TCN-BiLSTM-Multihead-Attention
机器学习之心·2023-12-01 14:42

论文笔记：Bottom-Up and Top-Down Attention for Image Captioningand Visual Question Answering

摘要自顶向下和自底向上结合的注意力机制，使注意力能够在物体和其他显著图像区域的水平上进行计算。
hongyuyahei·2023-12-01 12:09

YOLOv8改进 | 2023 | 通过RFAConv重塑空间注意力（深度学习的前沿突破）

一、本文介绍本文给大家带来的改进机制是RFAConv，全称为Receptive-FieldAttentionConvolution，是一种全新的空间注意力机制。
Snu77·2023-12-01 10:07

ChatGPT能做哪些具体应用

ChatGPT背后的算法基于Transformer架构，这是一种使用自注意力机制处理输入数据的深度神经网络，通过不断的学习和升级，目前ChatGPT-4已经具备更强的语言表达能力，逻辑推理能力和图片识别能力
denzel1234·2023-12-01 02:52

时间序列预测(9) — Informer源码详解与运行

1.3模型训练1.4模型测试1.5模型预测2Informer模型2.1process_one_batch2.2Informer函数2.3DataEmbedding函数2.4ProbAttention稀疏注意力机制
几度春风里·2023-11-30 23:05

笔记61：注意力提示

本地笔记地址：D:\work_file\（4）DeepLearning_Learning\03_个人笔记\3.循环神经网络\第10章：动手学深度学习~注意力机制aaaaaaaa
恨晨光熹微·2023-11-30 19:52

笔记62：注意力汇聚 --- Nadaraya_Watson 核回归

本地笔记地址：D:\work_file\（4）DeepLearning_Learning\03_个人笔记\3.循环神经网络\第10章：动手学深度学习~注意力机制aaaaaaaaaaaaaaaaaa
恨晨光熹微·2023-11-30 19:52

笔记63：注意力评分函数

本地笔记地址：D:\work_file\（4）DeepLearning_Learning\03_个人笔记\3.循环神经网络\第10章：动手学深度学习~注意力机制aaaaaaaaaaaaaaaaaaa
恨晨光熹微·2023-11-30 19:52

笔记64：Bahdanau 注意力

本地笔记地址：D:\work_file\（4）DeepLearning_Learning\03_个人笔记\3.循环神经网络\第10章：动手学深度学习~注意力机制aaaaaaaaaaa
恨晨光熹微·2023-11-30 19:46

透彻理解大模型框架：Transformer模型原理详解与机器翻译

注意力，自注意力，transformer研究变迁1、模型结构2、模型encoding过程2.1）注意力机制input=x={x1,x2}输入句子：{thikingmachine}embeding：x1，
雨下成一朵花·2023-11-30 11:42

RoseTTAFold的学习心得

RoseTTAFold1特点采用了三轨注意力机制，分别关注蛋白质的一级结构、二级结构和三级结构。再通过在三者之间加上多处连接，使整个神经网络能够同时学习3个维度层次的信息。
小甘正在努力学习·2023-11-30 06:41

Attention is all your need

编码器中的多头注意力应用了一种特定的注意力机制，成为自注意力。自注意力允许模型将输入中的每个单词与输入中的其他单词关联起来。
朝朝暮暮Quake·2023-11-30 01:53

YOLOv5算法进阶改进（6）— 更换主干网络之ResNet18

前期回顾：YOLOv5算法进阶改进（1）—改进数据增强方式+添加CBAM注意力机制<
小哥谈·2023-11-30 01:39

深度学习之图像分类（十五）DINAT: Dilated Neighborhood Attention Transformer理论精简摘要（二）

DilatedNeighborhoodAttentionTransformer摘要局部注意力机制：例如滑动窗口NeighborhoodAttention（NA）或SwinTransformer的ShiftedWindowSelfAttention
哈尔滨张谦蛋·2023-11-29 09:53

MEFLUT: Unsupervised 1D Lookup Tables for Multi-exposure Image Fusion

具体来说，为了学习这些1DLUT，我们将帧、通道和空间等各个维度的注意力机制引入到MEF任务
Adagrad·2023-11-29 08:00

Transformer中的多头注意力机制-为什么需要多头？

Transformer为什么使用多头注意力机制呢？多头可以学习到不同维度的特征和信息。为什么可以学习到不同维度的信息呢？
yzZ_here·2023-11-28 20:14

生成式深度学习(第二版)-译文-第九章-Transformers (I)

从概念上了解注意力机制是如何模拟人类的注意力:对句子中某些词比其他关注更多。从第一性原理出发深入了解注意力机制是如何工作的，包括queries，keys以及values是如何创建和操作的。
Garry1248·2023-11-28 15:56

时间序列预测实战(二十)自研注意力机制Attention-LSTM进行多元预测（结果可视化，自研结构）

一、本文介绍本文给大家带来的是我利用我自研的结构进行Attention-LSTM进行时间序列预测，该结构是我专门为新手和刚入门的读者设计，包括结果可视化、支持单元预测、多元预测、模型拟合效果检测、预测未知数据、以及滚动长期预测，大家不仅可以用来学习，用该结构可以发表论文我也觉得是可以并且不需要引用本篇博客。下面我们来介绍一下Attention-LSTM模型，这里提到的Attention是我自研的注
Snu77·2023-11-28 10:39

深度学习之图像分类（十五）DINAT: Dilated Neighborhood Attention Transformer详解（一）

这些模型通常采用局部注意力机制，例如滑动窗口NeighborhoodAttention（NA）或
哈尔滨张谦蛋·2023-11-28 06:33

Transformer——《Attention is all you need》

该模型基于纯注意力机制（Attentionmechanisms），完全抛弃了RNN和CNN网络结构，在机器翻译任务上取得了很好的效果。
NPC_0001·2023-11-28 01:41

Transformer——Open black box

Transformer结构由encoder和decoder两部分组成内部结构包括了多头注意力机制，正则化，残差连接。
YingJingh·2023-11-28 01:38

深度学习中的Transformer机制

Transformer引入了自注意力机制（self-attentionmechanism），这是其在处理序列数据时的关键创新。
温柔的行子·2023-11-27 20:28

4 时间序列预测入门： LSTM+ATTENTION

0前沿注意力机制其本质是一种通过网络自主学习出的一组权重系数，并以“动态加权”的方式来强调我们所感兴趣的区域同时抑制不相关背景区域的机制。核心目标也是从众多信息中选择出对当前任务目标更关键的信息。
汀沿河·2023-11-27 12:37

深度学习中的注意力机制：原理、应用与实践

深度学习中的注意力机制：原理、应用与实践摘要：本文将深入探讨深度学习中的注意力机制，包括其原理、应用领域和实践方法。
a谷雨c·2023-11-27 11:23

【注意力机制】学习

文章目录前言一、Encoder-Decoder（一）作用（二）实现框架Encoder：Decoder（三）基于seq2seq模型的编码与解码方法1弊端：方法2以上两种方式的弊端二、AttentionModel是什么？（一）应用场景（二）原理阶段1：计算相似性阶段2：归一化阶段3：计算Attention值（三）Self-Attention优点三、Transformer模型（一）整体结构2.读入数据总
SDsqx6·2023-11-27 11:09

2023一区优化套用:KOA-CNN-BiGRU-Attention融合注意力机制预测程序代码！直接运行！

同样的，我们利用该新鲜出炉的算法对我们的CNN-BiGRU-Attention时序和空间特征结合-融合注意力机制的回归预测程序代码中的超参数进行优化，构成KOA-CNN-BiGRU-Attention多变量回归预测模型
预测及优化·2023-11-27 10:04

SCI、中科院1区算法应用：（BWO-CNN-BiGRU-Attention）白鲸优化深度学习-融合注意力机制预测程序代码！包含特征可视化，数据Excel导入，直接运行！

我们利用该高创新算法对我们的CNN-BiGRU-Attention时序和空间特征结合-融合注意力机制的回归预测程序代码中的超参数进行优化。该论文进行了一系列实验，包括定性分析、定量分析和可扩展性测试。
预测及优化·2023-11-27 10:03

CVPR 2021 《Causal Attention for Vision-Language Tasks》论文笔记

论文链接动机文章的第一句就说明了本文的动机，也就是，本文提出了一个新颖的注意力机制，可以消除现有的基于注意力的视觉语言方法中的混杂效应。
NeverMoreH·2023-11-27 09:03

YOLOv5算法进阶改进（4）— 引入解耦合头部 | 助力提高检测准确率

前期回顾：YOLOv5算法进阶改进（1）—改进数据增强方式+添加CBAM注意力机制
小哥谈·2023-11-27 05:40

UCAS - AI学院 - 自然语言处理专项课 - 第5讲 - 课程笔记

UCAS-AI学院-自然语言处理专项课-第5讲-课程笔记语言模型传统语言模型n元文法参数估计数据平滑方法语言模型自适应应用神经语言模型背景前馈神经网络语言模型循环神经网络语言模型自我注意力机制语言模型应用文本表示模型背景向量空间模型表示学习模型词语的表示学习短语的表示学习句子的表示学习文档的表示学习动态的表示学习语言模型传统语言模型
支锦铭·2023-11-27 00:38

【UCAS自然语言处理作业二】训练FFN, RNN, Attention机制的语言模型，并计算测试集上的PPL

Dataset网络结构训练超参设置注意力网络数据组织&Dataset网络结构Attention部分完整模型训练部分超参设置结果与分析训练集Loss测试集PPL前言本次实验主要针对前馈神经网络，RNN，以及基于注意力机制的网络学习语言建模任务
长命百岁️·2023-11-27 00:37

YOLOv5改进 | 添加SE注意力机制 + 更换NMS之EIoU-NMS

为提高算法模型在不同环境下的目标识别准确率，提出一种基于改进YOLOv5深度学习的识别方法（SE-NMS-YOLOv5），该方法融合SE（Squeeze-and-Excitation）注意力机制模块和改进非极大值抑制对数据集进行训练和测试
小哥谈·2023-11-27 00:53
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他