注意力机制

Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别

它在2017年由Google提出，采用了注意力机制来对输入序列进行编码和解码。Transformer模型由编码器和解码器两部分组成，每个部分都有多个相同的层，每个层都有两个子层。
医学小达人·2023-10-28 19:09

YOLOv5改进系列（1）——添加SE注意力机制

那就先从最简单的添加注意力机制开始吧！（￣︶￣）↗【YOLOv5改进系列】前期回顾：YOLOv5改进系列（0）——重要性能指标与训练结果评价及分析目录
路人贾'ω'·2023-10-28 16:38

yolov7添加CA(Coordinate attention)注意力机制

yolov7介绍：1、主要贡献主要是现有的一些trick的集合以及模块重参化和动态标签分配策略，最终在5FPS到160FPS范围内的速度和准确度都超过了所有已知的目标检测器。当前目标检测主要的优化方向：更快更强的网络架构；更有效的特征集成方法；更准确的检测方法；更精确的损失函数；更有效的标签分配方法；更有效的训练方法。2、主要思路按照论文，目前模型精度和推理性能比较均衡的是yolov7模型(对应的
code2035·2023-10-28 16:06

YOLOv5算法改进（21）— 添加CA注意力机制 + 更换Neck网络之BiFPN + 更换损失函数之EIoU

本节课开始，就让我们结合论文来对YOLOv5进行组合改进（添加CA注意力机制+更换Neck网络之BiFPN+更换损失函数之EIoU），希望同学们学完本节课可以有所启迪，并且后期可以自行进行YOLOv5算法的改进
小哥谈·2023-10-28 16:35

一张图系列 - “kv cache“

在自注意力机制中,需要计
sinat_15355869·2023-10-28 16:17

超超超超超简单！从结果推导RoPE旋转位置编码

位置编码介绍与绝对位置编码我们知道，主流大语言模型使用的自注意力机制(self-attention)技术中，缺少位置的信息。
inannanxx·2023-10-28 13:54

注意力机制——注意力提示与汇聚

注意力机制——注意力提示与汇聚文章目录前言一、注意力提示1.1.生物学中的注意力提示1.2.查询、键和值1.3.注意力的可视化1.4.小结二、注意力汇聚2.1.生成数据集2.2.平均汇聚2.3.非参数注意力汇聚
星石传说·2023-10-28 11:17

即插即用模块 | RFAConv助力YOLOv8再涨2个点

本文中从一个新的角度解释了空间注意力的有效性，即空间注意力机制本质上解决了卷积核参数共享的问题。然而，对于大尺寸卷积核，空间注意力生成的注意力图中包含的信息仍然缺乏。
大数据AI人工智能培训专家培训讲师叶梓·2023-10-28 07:16

【YOLOv8/YOLOv7/YOLOv5/YOLOv4/Faster-rcnn系列算法改进NO.64】即插即用新的注意力机制RFAConv

前言作为当前先进的深度学习目标检测算法YOLOv8，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv8的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。由于出到YOLOv8，YOLOv7、YOLOv5算法2020年至今已经涌现出大
人工智能算法研究院·2023-10-28 07:11

SEnet实战 -- 垃圾分类

网路结构：SEnet：resnet18+通道域注意力采用SEnet网络训练进行分类，加注意力机制后准确率会稍高一些。SE层结构如下，暂时不讲注意力机制。
じんじん·2023-10-28 05:13

深度学习图像分割方法U-Net改进之Attention U-Net

目录1、Introduce2、AttentionU-Net2.1structure2.2Attentionmodule3、Reference1、Introduce注意力机制是一种基于权重的模型，其作用是让深度学习模型能够更加集中地关注当前输入数据中最具有代表性和区分性的部分
无情滴怪蜀黍·2023-10-27 23:54

《动手学深度学习 Pytorch版》 10.7 Transformer

Transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层。
AncilunKiang·2023-10-27 23:45

Transformer 相关理解（上）

Transformer是自然语言处理（NLP）领域一个十分知名的特征处理器，其本质是使用注意力机制进行自然语言的翻译。
Weber77·2023-10-27 22:49

Transformer相关理解

1.何为注意力机制人生来就有Attention注意力机制，看任何画面，我们会自动聚焦到特定位置特定物体上。
Caoyy686868·2023-10-27 22:19

基于LSTM encoder-decoder模型实现英文转中文的翻译机器

正是对这个应用的研究，发展出了注意力机制，在此基础上产生了AIGC领域的霸主transformer。
马尔科夫司机·2023-10-27 17:00

可视化 | （二）视觉编码、图形感知及颜色计算

文章目录视觉编码图形感知前注意力机制格式塔学说变化盲视颜色计算学术颜色设计Hintsforthecolors视觉编码视觉编码是将数据映射到视觉变量的过程，不同的数据类型需要采用不同的编码方式来有效地传达信息
啦啦右一·2023-10-27 17:19

《动手学深度学习 Pytorch版》 10.6 自注意力和位置编码

在注意力机制中，每个查询都会关注所有的键－值对并生成一个注意力输出。
AncilunKiang·2023-10-27 14:58

计算成像论文速递 | ICCV 2023, Enhancing Non-line-of-sight Imaging via Learnable Inverse Kernel and Attention

EnhancingNon-line-of-sightImagingviaLearnableInverseKernelandAttentionMechanisms这篇文章提出了一个端到端的深度学习框架,通过在频域中学习可逆内核和注意力机制来提高神经网络学习
R.X. NLOS·2023-10-27 12:30

目标检测算法回顾之Transformer based篇章

与CNN-based的区别DETR的网络结构DETR的评价4.2DeformableDETR4.2.0DeformableDETR对DETR的问题分析与改进思路4.2.1DeformableDETR的注意力机制
xiaobai_Ry·2023-10-26 22:12

一文搞定注意力机制（Attention）

文章7成内容参考：解码注意力Attention机制：从技术解析到PyTorch实战还有3成内容参考：深度学习基础算法系列（21）-一文搞懂注意力机制（Attention）【原来如此】深度学习中注意力机制
markconca的博客·2023-10-26 14:01

一文搞定自注意力机制（Self-Attention）

自注意力机制（Self-Attention）作为注意力机制中的一种，也被称为intraAttention（内部Attention），是大名鼎鼎的Transformer重要组成部分，今天张张将详细介绍自注意力机制
markconca的博客·2023-10-26 14:01

深度学习第四阶段：NLP第二章 Transformer学习笔记

引言1：什么是注意力机制参考我的一篇文章：https://blog.csdn.net/weixin_42110638/article/details/134011134?
markconca的博客·2023-10-26 14:56

史上最全Transformer面试题

1.史上最全Transformer面试题Transformer为何使用多头注意力机制？
biuHeartBurn·2023-10-26 07:50

基于麻雀算法优化卷积神经网络-双向长短期记忆网络结合注意力机制SSA-CNN-BILSTM-Attention分类预测

文章目录效果一览文章概述部分源码参考资料效果一览文章概述基于麻雀算法优化卷积神经网络-双向长短期记忆网络结合注意力机制SSA-CNN-BILSTM-Attention分类预测直接替换数据即可使用，保证程序可正常运行
前程算法屋·2023-10-26 03:51

基于麻雀算法优化卷积神经网络-双向门控循环单元结合注意力机制SSA-CNN-BiGRU-Attention分类预测

文章目录效果一览文章概述部分源码参考资料效果一览文章概述基于麻雀算法优化卷积神经网络-双向门控循环单元结合注意力机制SSA-CNN-BiGRU-Attention分类预测直接替换数据即可使用，保证程序可正常运行
前程算法屋·2023-10-26 03:51

回归预测 | MATLAB实现CNN-GRU-Attention多输入单输出回归预测

针对影响芒果产量的相关气象要素繁多,它们与产量之间的关联关系复杂,难以用数学函数准确地描述的问题,提出一种基于自注意力机制门控循环单元和卷积神经网络组合(attentionCGRU)模型.首先,利用CNN
Matlab科研辅导帮·2023-10-26 03:51

SSA-CNN-LSTM-Attention回归预测 | Matlab 基于麻雀算法优化卷积神经网络-长短期记忆网络结合注意力机制

文章目录效果一览文章概述部分源码参考资料效果一览文章概述SSA-CNN-LSTM-Attention回归预测|Matlab基于麻雀算法优化卷积神经网络-长短期记忆网络结合注意力机制评价指标包括:MAE、
前程算法屋·2023-10-26 03:51

SSA-CNN-BILSTM-Attention回归预测 | Matlab 基于麻雀算法优化卷积神经网络-双向长短期记忆网络结合注意力机制

文章目录效果一览文章概述部分源码参考资料效果一览文章概述SSA-CNN-BILSTM-Attention回归预测|Matlab基于麻雀算法优化卷积神经网络-双向长短期记忆网络结合注意力机制评价指标包括:
前程算法屋·2023-10-26 03:21

分类预测 | MATLAB实现SSA-CNN-BiGRU-Attention数据分类预测（SE注意力机制）

分类预测|MATLAB实现SSA-CNN-BiGRU-Attention数据分类预测（SE注意力机制）目录分类预测|MATLAB实现SSA-CNN-BiGRU-Attention数据分类预测（SE注意力机制
机器学习之心·2023-10-26 03:18

Transformer模型 | iTransformer时序预测

这些模型通常将同一时间戳的多个变量嵌入到不可区分的通道中，并在这些时间标记上应用注意力机制来捕捉时间依赖关系。
算法如诗·2023-10-26 02:57

人工智能三要数之算法Transformer

算法:Transformer是一种基于自注意力机制的神经网络模型，用于处理序列数据的建模和表示学习。它通过自适应地关注输入序列中的不同位置，并利用多头注意力机制对序列中的关系进行建模。
Entropy-Go·2023-10-26 00:22

学习记录——VAN LKA、LSKA

VisualAttentionNetwork2022大核注意力机制LKA  在本文中，提出了一种新的大核注意力largekernalattention（LKA）模型，LKA吸收了卷积和自注意的优点，包括局部结构信息
Chaoy6565·2023-10-25 21:18

YoloV8改进策略：独家原创，LSKA（大可分离核注意力）改进YoloV8，比Transformer更有效，包括论文翻译和实验结果

大可分离核注意力）：重新思考CNN大核注意力设计》1、简介2、相关工作3、方法4、实验5、消融研究6、与最先进方法的比较7、ViTs和CNNs的鲁棒性评估基准比较8、结论YoloV8官方结果改进一：使用LSKA注意力机制重构
静静AI学堂·2023-10-25 21:40

SE-NET se注意力机制应用于ResNet (附代码)

论文地址：https://arxiv.org/abs/1709.01507代码地址：https://github.com/madao33/computer-vision-learning1.是什么？SE-NET网络是一种基于卷积神经网络的模型，它引入了SE（Squeeze-and-Excitation）块来增强通道之间的相互关系。SE块通过学习每个通道的重要性权重，使得有用的特征被放大，没有用的特
无妄无望·2023-10-25 17:00

大模型的实践应用3-大模型的基础架构Transformer模型，掌握Transformer就掌握了大模型的灵魂骨架

Transformer是一种基于自注意力机制的深度学习模型，由Vaswani等人在2017年的论文《AttentionisAllYouNeed》中提出。
微学AI·2023-10-25 15:20

FoLR:Focus on Local Regions for Query-based Object Detection论文学习笔记

值得注意的是，在目标检测中，自注意力机制经常因其全局聚焦而妨碍了收敛。为了解决这些问题，作者提出了FoLR，一种仅包含解码器的类似Transformer的架构。作者通过隔离不相关目标之间的连接来增强
athrunsunny·2023-10-25 13:21

Transformer详解

一、位置编码Transformer论文图:单个Encoder上述这种相对位置信息会在注意力机制那里消失二、多头注意力机制2.1基本的注意力机制注意力机制本质:左上、左下、右上、右下分别对应图片哪一块的位置
几两春秋梦_·2023-10-25 12:22

从零开始的Transformers第二篇:代码解析transformer架构

代码解析transformer架构总体解析输入部分词向量InputEmbedding位置编码编码器自注意力机制掩码多头自注意力机制FeedForwardLayerNorm残差链接EncoderLayer
浅冲一下·2023-10-25 11:57

Tansformer模型原理与算法流程

1.自注意力机制Transformer的核心是自注意力机制，它可以让模型在处理序列数据时关注序列中不同位置信息。
信雪神话·2023-10-25 09:36

21个Transformer面试题的简单回答

1.Transformer为何使用多头注意力机制？（为什么不使用一个头）答：多头可以使参数矩阵形成多个子空间，矩阵
视学算法·2023-10-25 03:48

分类预测 | MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制）

分类预测|MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制）目录分类预测|MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制）分类效果基本描述模型描述程序设计参考资料分类效果基本描述
机器学习之心·2023-10-25 01:33

震惊！| EfficientFormerV2：Transformer居然还能比MobileNet还快更准！

论文提出了多种方法来加速注意力机制，改善低效的设计，或者将移动设备友好的轻量级卷积结合在一起形成混合架构。学习群｜扫码在主页获取加入方式论文链接：htt
计算机视觉研究院·2023-10-25 01:00

轻量ViT王者 | EfficientFormerV2：全新轻量级视觉Transformer

研究人员提出了多种方法来加速注意力机制，改进低效设计，或结合mobil
自动驾驶之心·2023-10-25 01:59

多头注意力（Multi-Head Attention）和交叉注意力（Cross-Attention）是两种常用的注意力机制的原理及区别

多头注意力和交叉注意力多头注意力和交叉注意力都是在自注意力机制的基础上发展而来的，它们的主要区别在于注意力矩阵的计算方式不同。以下是它们的原理和区别。
ywfwyht·2023-10-24 23:56

【GRU分类】基于麻雀算法优化注意力机制卷积神经网络结合门控循环单元SSA-Attention-CNN-GRU实现数据多维输入分类预测附matlab代码

✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，matlab项目合作可私信。个人主页：Matlab科研工作室个人信条：格物致知。更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统信号处理图像处理路径规划元胞自动机无人机内容介绍摘要：在机器学习领域，分类问题一直是一个重要的研究方向。为了提高分类算法的性能，研究者们不断尝试采用新的方法和模型
matlab科研助手·2023-10-24 18:49

SSA-CNN-GRU-Attention回归预测 | Matlab 基于麻雀算法优化卷积神经网络-门控循环单元结合注意力机制

文章目录效果一览文章概述部分源码参考资料效果一览文章概述SSA-CNN-GRU-Attention回归预测|Matlab基于麻雀算法优化卷积神经网络-门控循环单元结合注意力机制评价指标包括:MAE、RMSE
前程算法屋·2023-10-24 18:48

基于麻雀算法优化卷积神经网络-门控循环单元结合注意力机制SSA-CNN-GRU-Attention分类预测

文章目录效果一览文章概述部分源码参考资料效果一览文章概述基于麻雀算法优化卷积神经网络-门控循环单元结合注意力机制SSA-CNN-GRU-Attention分类预测直接替换数据即可使用，保证程序可正常运行
前程算法屋·2023-10-24 18:48

归纳偏置多余了？靠“数据堆砌”火拼Transformer，MLP架构可有胜算？

起因是，谷歌在《MLP-Mixer:Anall-MLPArchitectureforVision》论文中提出，无需卷积模块和注意力机制，纯MLP架构也可以达到与Transformer与CNN相媲美的图像分类性能
深度学习技术前沿·2023-10-24 17:33

【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制

三、注意力机制自注意力机制被运用到Transf
dataloading·2023-10-24 17:16

《动手学深度学习 Pytorch版》 10.1 注意力提示

生物学中的注意力提示“美国心理学之父”威廉·詹姆斯提出的双组件（two-component）框架：非自主性提示：基于环境中物体的突出性和易见性自主性提示：受到了认知和意识的控制10.1.2查询、键和值注意力机制与全连接层或汇聚层区别开来的元素
AncilunKiang·2023-10-24 17:30
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他