注意力机制

DIN-DIEN-DSIN笔记

//方法：在embedding与MLP之间加入注意力机制。===》不同场景，特征权重分配不一样；筛选出有用特征，划分好哪些是重要特征。
林桉·2023-08-19 18:44

【人工智能概论】 Transformer论文翻译与粗浅解读

）1.介绍(Introduction)2.背景(Background)3.模型结构（ModelArchitecture）3.1编码器块和解码器块(EncoderandDecoderStacks)3.2注意力机制
小白的努力探索·2023-08-19 08:52

YOLOv5、YOLOv8改进：S2注意力机制

目录1.简介2.YOLOv5改进2.1增加以下S2-MLPv2.yaml文件2.2common.py配置2.3yolo.py配置1.简介S2-MLPv2注意力机制最近，出现了基于MLP的视觉主干。
陈子迩·2023-08-19 03:17

YOLOv5、v8改进：引入SKAttention注意力机制

目录1.简介2.YOLOv5改进2.1增加以下SKAttention.yaml文件2.2common.py配置2.3yolo.py配置1.简介论文链接：https://arxiv.org/pdf/1903.06586.pdf最近对卷积神经网络中的“自适应调整感受野”这样的操作很感兴趣，从字面的意思可以理解：如果可以自适应的调整感受野的大小，其背后说得应该就是自适应的选择卷积核的大小。看上去不难理解
陈子迩·2023-08-19 03:17

多维时序 | MATLAB实现WOA-CNN-GRU-Attention多变量时间序列预测

WOA-CNN-GRU-Attention多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍MATLAB实现WOA-CNN-GRU-Attention多变量时间序列预测，WOA-CNN-GRU-Attention结合注意力机制多变量时间序列预测
机器学习之心·2023-08-19 02:57

时序结构重要性加权图卷积网络用于时序知识图谱补全

目录摘要部分四元数时间戳时间信息对四元数的影响知识图谱里的结构信息时序注意模块重要性加权的图卷积网络引言部分现有方法的不足本文主要贡献准备工作问题定义大部分方法的缺陷本文方法框架时序注意模块实体分类带有注意力机制的双向长短期记忆模型时序感知注意力节点重要性加权的
BIT_mk·2023-08-19 02:52

东南大学轴承故障诊断（Python代码，没有使用复合故障类型数据，内圈/外圈/滚动体/正常四种类型下的诊断，模型为MSCNN结合LSTM结合注意力机制模型，有注释）

，例如本次的MSCNN结合LSTM结合注意力机制模型1.东南大学采集数据平台数据该数据集包含2个子数据集，包括轴承数据和齿轮数据，这两
深度学习的奋斗者·2023-08-19 00:34

YOLOv5改进系列（20）——添加BiFormer注意力机制（CVPR2023|小目标涨点神器）

【YOLOv5改进系列】前期回顾：YOLOv5改进系列（0）——重要性能指标与训练结果评价及分析YOLOv5改进系列（1）——添加SE注意力机制YOLOv5改进系列（2）——添加CBAM注意力机制
路人贾'ω'·2023-08-18 20:34

YOLOv5改进系列（19）——替换主干网络之Swin TransformerV1（参数量更小的ViT模型）

【YOLOv5改进系列】前期回顾：YOLOv5改进系列（0）——重要性能指标与训练结果评价及分析YOLOv5改进系列（1）——添加SE注意力机制
路人贾'ω'·2023-08-18 20:34

YOLOv5改进系列（21）——替换主干网络之RepViT（清华 ICCV 2023|最新开源移动端ViT）

【YOLOv5改进系列】前期回顾：YOLOv5改进系列（0）——重要性能指标与训练结果评价及分析YOLOv5改进系列（1）——添加SE注意力机制YOLOv5改进系列（2
路人贾'ω'·2023-08-18 20:04

改进YOLO系列：4.添加ACmix注意力机制

添加ACmix注意力机制1.ACmix注意力机制论文２.ACmix注意力机制原理３.ACmix注意力机制的配置３.１common.py配置３.２yolo.py配置３.３yaml文件配置1.ACmix注意力机制论文论文题目
Greg　Gagane·2023-08-18 13:25

改进YOLO系列：１.添加SE注意力机制

添加SE注意力机制1.SE注意力机制论文２.SE注意力机制原理３.SE注意力机制的配置３.１common.py配置３.２yolo.py配置３.３yaml文件配置1.SE注意力机制论文论文题目：Squeeze-and-ExcitationNetworks
Greg　Gagane·2023-08-18 13:54

改进YOLO系列：3.添加SOCA注意力机制

添加SOCA注意力机制1.SOCA注意力机制论文２.SOCA注意力机制原理３.SOCA注意力机制的配置３.１common.py配置３.２yolo.py配置３.３yaml文件配置1.SOCA注意力机制论文暂未找到
Greg　Gagane·2023-08-18 13:54

改进YOLO系列：2.添加ShuffleAttention注意力机制

添加ShuffleAttention注意力机制1.ShuffleAttention注意力机制论文２.ShuffleAttention注意力机制原理３.ShuffleAttention注意力机制的配置３.１common.py
Greg　Gagane·2023-08-18 13:51

融合CBAM注意力机制基于YOLOv5开发构建毛尖茶叶嫩芽检测识别系统

首先看下整体效果：要进行茶叶嫩芽的检测和识别，可以使用计算机视觉和深度学习技术来实现。下面是一种基本的流程：数据收集：收集包含毛尖、嫩芽以及其他类型茶叶图像的数据集。确保数据集中包含不同角度、光照条件和背景下的茶叶图像。数据预处理：对图像进行预处理操作，如调整大小、裁剪、灰度化或彩色转换等，以便于后续处理。特征提取：使用图像处理技术或特征提取方法，提取茶叶嫩芽的特征。可以使用传统的图像处理方法，如
Together_CZ·2023-08-18 07:53

基于YOLOv5n/s/m不同参数量级模型开发构建茶叶嫩芽检测识别模型，使用pruning剪枝技术来对模型进行轻量化处理，探索不同剪枝水平下模型性能影响

今天有点时间就想着之前遗留的一个问题正好拿过来做一下看看，主要的目的就是想要对训练好的目标检测模型进行剪枝处理，这里就以茶叶嫩芽检测数据场景为例了，在我前面的博文中已经有过相关的实践介绍了，感兴趣的话可以自行移步阅读即可：《融合CBAM注意力机制基于
Together_CZ·2023-08-18 07:23

机器学习&&深度学习——注意力分数（详细数学推导+代码实现）

深度学习希望文章对你们有所帮助这篇文章实际上应该要接着上次讲过的注意力提示和注意力池化讲的，但是由于学到后面感觉有点不对劲，因为我跳过了一些基础的东西，所以导致transformer的思想有点疑惑，所以暂停了注意力机制的学习
布布要成为最负责的男人·2023-08-18 07:03

基于Paragraph-BERT-CRF的科技论文摘要语步功能信息识别方法研究

【方法】提出基于Paragraph-BERT-CRF神经网络架构的摘要语步识别模型,能够充分利用摘要文本中的篇章上下文信息,同时考虑了注意力机制和语步标签序列内部的转移关系。【结果】
米朵儿技术屋·2023-08-17 22:46

Text-to-SQL小白入门（二）——Transformer学习

摘要本文主要针对NLP任务中经典的Transformer模型的来源、用途、网络结构进行了详细描述，对后续NLP研究、注意力机制理解、大模型研究有一定帮助。
junewgl·2023-08-17 16:27

YOLOv8改进后效果

将c2f模块替换为DSConv加EMA注意力机制更换EfficientViT主干网络
汉卿HanQ·2023-08-17 13:30

【AI不惑境】计算机视觉中注意力机制原理及其模型发展和应用

作者&编辑|言有三首发于有三AI公众号【AI不惑境】计算机视觉中注意力机制原理及其模型发展和应用Attention机制在近几年来在图像，自然语言处理等领域
城市中迷途小书童·2023-08-16 05:48

YOLOV5改进：加入RCS-OSA模块，提升检测速度

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。2.涨点效果：RCS-OSA模块更加轻量化，有效提升检测速度！
dg68668·2023-08-16 05:40

YOLOV7改进：加入RCS-OSA模块，提升检测速度

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。2.涨点效果：RCS-OSA模块更加轻量化，有效提升检测速度！
dg68668·2023-08-16 05:40

YOLOV7改进：更换为MPDIOU,实现有效涨点

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。2.涨点效果：更换为MPDIOU,实现有效涨点！
dg68668·2023-08-16 05:10

YOLOV8改进：加入RCS-OSA模块，提升检测速度

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。2.涨点效果：RCS-OSA模块更加轻量化，有效提升检测速度！
dg68668·2023-08-16 05:08

pointpillars在2D CNN引入自适应注意力机制

在给定的代码中，您想要引入自适应注意力机制。自适应注意力机制通常用于增强模型的感受野，从而帮助模型更好地捕捉特征之间的关系。在这里，我将展示如何在您的代码中引入自适应注意力机制，并提供详细的解释。
FYY2LHH·2023-08-15 17:46

解码Transformer：自注意力机制与编解码器机制详述与代码实现

本文全面探讨了Transformer及其衍生模型，深入分析了自注意力机制、编码器和解码器结构，并列举了其编码实现加深理解，最后列出基于Transformer的各类模型如BERT、GPT等。
·2023-08-15 16:21

分类预测 | MATLAB实现GWO-BiGRU-Attention多输入分类预测

GWO-BiGRU-Attention多输入分类预测预测效果基本介绍程序设计参考资料预测效果基本介绍1.GWO-BiGRU-Attention数据分类预测程序2.代码说明：基于灰狼优化算法（GWO）、双向门控循环单元网络（BiGRU）和注意力机制的数据分类预测程序
机器学习之心·2023-08-15 12:16

分类预测 | MATLAB实现GWO-BiLSTM-Attention多输入分类预测

多输入分类预测预测效果基本介绍程序设计参考资料预测效果基本介绍1.GWO-BiLSTM-Attention数据分类预测程序2.代码说明：基于灰狼优化算法（GWO）、双向长短期记忆网络（BiLSTM）和注意力机制的数据分类预测程序
机器学习之心·2023-08-15 07:45

东南大学齿轮箱故障诊断（Python代码，MSCNN结合LSTM结合注意力机制模型，代码有注释）

运行代码要求：代码运行环境要求：Keras版本>=2.4.0，python版本>=3.6.01.东南大学采集数据平台：数据该数据集包含2个子数据集，包括轴承数据和齿轮数据，这两个子数据集都是在传动系动力学模拟器（DDS）上获取的。（第一个文件夹是轴承数据，第二个文件夹是齿轮数据，本次是针对齿轮数据进行故障诊断）有两种工况，转速-负载配置设置为20-0和30-2。在每个文件中，有8行信号，分别表示：
深度学习的奋斗者·2023-08-14 11:54

电机故障诊断(python程序，模型为MSCNN结合LSTM结合注意力机制模型，有注释)

代码运行环境要求：TensorFlow版本>=2.4.0，python版本>=3.6.01.电机常见的故障类型有以下几种：轴承故障：轴承是电机运转时最容易受损的部件之一。常见故障包括磨损、疲劳、过热和润滑不良，这些问题可能导致噪音增加和电机性能下降。绝缘老化：电机绝缘材料随着使用时间的增加会老化，失去绝缘性能，导致绝缘击穿和电机短路。绕组故障：电机的绕组可能出现短路、开路或者匝间故障，这些故障会导
深度学习的奋斗者·2023-08-14 11:50

分类预测 | MATLAB实现CNN-BiGRU-Attention多输入分类预测

CNN-BiGRU-Attention多输入单输出分类预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍Matlab实现CNN-BiGRU-Attention多特征分类预测，卷积双向门控循环单元结合注意力机制分类预测
机器学习之心·2023-08-14 09:22

YOLOV8/YOLOv7/YOLOv5改进:引入GAMAttention注意力机制

GAMAttention注意力机制原理图对于ImageNet-1K，我们将图像预处理为224×224（Heet
陈子迩·2023-08-13 20:02

yolov5、YOLOv7、YOLOv8改进：注意力机制CA

CoordinateAttentionforEfficientMobileNetWorkDesign》论文地址：https://arxiv.org/pdf/2103.02907.pdf本文中，作者通过将位置信息嵌入到通道注意力中提出了一种新颖的移动网络注意力机制
陈子迩·2023-08-13 20:32

【变形金刚02】注意机制以及BERT 和 GPT

一、说明我已经解释了什么是注意力机制，以及与转换器相关的一些重要关键字和块，例如自我注意、查询、键和值以及多头注意力。
无水先生·2023-08-13 14:34

PyTorch翻译官网教程-NLP FROM SCRATCH: TRANSLATION WITH A SEQUENCE TO SEQUENCE NETWORK AND ATTENTION

TranslationwithaSequencetoSequenceNetworkandAttention—PyTorchTutorials2.0.1+cu117documentation使用Seq2Seq网络和注意力机制进行翻译这是关于
poorCoder_·2023-08-13 06:25

12 Tranformer原理及Python实现

2自注意力机制(self-attention)采用自注意力机制层取代RNN来处理序列，同时
HenrySmale·2023-08-12 15:16

transformer（”变形金刚“）

当时已经将注意力机制引入了编码器-解码器架构，典型的例子就是Seq2seq。
Pingyuanyi·2023-08-12 15:10

【变形金刚01】attention和transformer所有信息

图1.来源：ArsenyTogulev在Unsplash上的照片一、说明这是一篇长文，几乎讨论了人们需要了解的有关注意力机制的所有信息，包括自我注意、查询、键、值、多头注意力、屏蔽多头注意力和转换器，包括有关
无水先生·2023-08-12 15:38

FlashAttention

一、论文题目（发表处-时间）FlashAttention:FastandMemory-EfficientExactAttentionwithIO-Awareness二、主要方向新型注意力机制三、细化任务一种具有
be_humble·2023-08-12 14:21

YOLOv5 、YOLOv8改进 ：SimAM：无参数的注意力机制

在本文中，我们提出了一个用于卷积神经网络的概念简单但非常有效的注意模块。与现有的通道关注模块和空间关注模块相比，我们的模块无需向原始网络添加参数，而是在一层中推断特征图的3-D关注权重。具体来说，我们基于一些著名的神经科学理论，提出优化一个能量函数来发现每个神经元的重要性。我们进一步推导出能量函数的快速封闭形式的解，并表明该解可以在不到十行代码中实现。该模块的另一个优点是，大多数算子是根据定义的能
陈子迩·2023-08-12 10:52

YOLOv5、YOLOv8改进：SEAttention 通道注意力机制

基于通道的注意力机制源自于CVPR2018:Squeeze-and-ExcitationNetworks官方代码：GitHub-hujie-frank/SENet:Squeeze-and-ExcitationNetworks
陈子迩·2023-08-12 10:52

YOLOv5、YOLOv8改进：添加ShuffleAttention注意力机制

广泛应用的注意力机制主要有空间注意力机制和通道注意力机制，其目的分别是捕捉像素级的成对关系和通道依赖关系。虽然将两种机制融合在一起可以获得比单独更好的性能，但计算开销不可避免。
陈子迩·2023-08-12 10:52

分类预测 | MATLAB实现SMA-CNN-BiLSTM-Attention多输入分类预测

SMA-CNN-BiLSTM-Attention多输入分类预测分类效果基本介绍模型描述程序设计参考资料分类效果基本介绍1.MATLAB实现SMA-CNN-BiLSTM-Attention多输入分类预测，CNN-BiLSTM结合注意力机制多输入分类预测
机器学习之心·2023-08-12 09:45

多维时序 | MATLAB实现ZOA-CNN-BiGRU-Attention多变量时间序列预测

ZOA-CNN-BiGRU-Attention多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍1.Matlab基于ZOA-CNN-BiGRU-Attention斑马优化卷积双向门控循环单元网络融合注意力机制的多变量时间序列预测算法
机器学习之心·2023-08-12 09:13

Transformer（一）简述（注意力机制，NLP，CV通用模型）

目录1.Encoder1.1简单理解Attention1.2.什么是self-attention1.3.怎么计算self-attention1.4.multi-headed1.5.位置信息表达2.decorder（待补充）参考文献1.Encoder1.1简单理解Attention比方说，下图中的热度图中我们希望专注于小鸟，而不关注背景信息。那么如何关注文本和图像中的重点呢。具体而然比方说下面的文本
笑傲江湖2023·2023-08-11 22:21

（新SOTA）UNETR++：轻量级的、高效、准确的共享权重的3D医学图像分割

在Transformer模型中，与基于局部卷积的设计相比，自注意力机制是努力捕获远程依赖性的主要构建块之一。
Jorko的浪漫宇宙·2023-08-11 18:25

YOLOv5修改注意力机制CBAM

直接上干货CBAM注意力机制是由通道注意力机制（channel）和空间注意力机制（spatial）组成。传统基于卷积神经网络的注意力机制更多的是关注对通道域的分析，局限于考虑特征图通道之间的作用关系。
陈子迩·2023-08-11 14:49

时序预测 | MATLAB实现CNN-BiGRU-Attention时间序列预测

CNN-BiGRU-Attention时间序列预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍MATLAB实现CNN-BiGRU-Attention时间序列预测，CNN-BiGRU-Attention结合注意力机制时间序列预测
机器学习之心·2023-08-11 10:28

多维时序 | MATLAB实现CNN-BiGRU-Attention多变量时间序列预测

CNN-BiGRU-Attention多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍MATLAB实现CNN-BiGRU-Attention多变量时间序列预测，CNN-BiGRU-Attention结合注意力机制多变量时间序列预测
机器学习之心·2023-08-11 10:26
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他