注意力机制

2020机器学习 Transform 模型(2)

多头自注意力机制(Multi-headSelf-attention)接下来我们和之前一样来做self-attention，不同的地方是这一次只是对应位置上来self-attention。
zidea·2023-09-20 02:49

重构Transformer神经网络：优化的自注意力机制和前馈神经网络

重构Transformer神经网络：优化的自注意力机制和前馈神经网络原文代码网络结构推理代码训代码数据处理代码长词表辅助代码原文标题：重构Transformer神经网络：优化的自注意力机制和前馈神经网络摘要
东方佑·2023-09-19 12:49

Pre-trained models for natural language processing: A survey(NLP领域预训练模型研究综述)

一、前言首先列出了常用的神经网络模型：CNN、RNN、GNN以及注意力机制，它们的优点是能够缓解特征工程
敷衍zgf·2023-09-18 12:28

Transformer 关键点理解

注意力机制embeddingencoder-decoder结构positionencoding
黑衣骑士兴·2023-09-17 09:57

注意力机制：CA - Coordinate Attention for Efficient Mobile Network Design（文末附代码）

注意力机制：CA-CoordinateAttentionforEfficientMobileNetworkDesign摘要引言具体而言：优势：相关工作MobileNetwork架构注意力机制CoordinateAttention
桑_榆·2023-09-16 15:57

时序预测的深度学习算法全面盘点

常用的深度学习模型包括循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元（GRU）、卷积神经网络（CNN）、注意力机制（Attention）和混合模型（Mix）等，与机器学习需要经过复杂的特征工程相比
Python数据挖掘·2023-09-16 13:58

【笔记记录】MAE：Masked Autoencoders Are Scalable Vision Learners

文章目录标题摘要关键图结论导言相关工作MAE模型实验评论与之前读的文章的关系Transformer它是一个纯基于注意力机制的编码器和解码器在机器翻译任务上，它比基于RNN的架构要更好一些BERT它使用一个
三木今天学习了嘛·2023-09-16 02:04

YOLOV7改进：在C5模块不同位置添加D-LKA Attention（同时拥有SA注意力和大卷积核的能力）

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。3.涨点效果：D-LKAAttention注意力机制,实现有效涨点！
dg68668·2023-09-15 23:35

YOLOV8改进：在C2f模块不同位置添加D-LKA Attention（同时拥有SA注意力和大卷积核的能力）

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。3.涨点效果：D-LKAAttention注意力机制,实现有效涨点！
dg68668·2023-09-15 23:35

YOLOV5改进：在C3模块不同位置添加D-LKA Attention（同时拥有SA注意力和大卷积核的能力）

2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。3.涨点效果：D-LKAAttention注意力机制,实现有效涨点！
dg68668·2023-09-15 23:32

论文解析：SCA-CNN

SpatialandChannel-wiseAttentioninConvolutionalNetworksforImageCaptioning》总体介绍 文章认为CNN具有三个非常重要的性质，channel，spatial，multilayer，但是现有的基于注意力机制的
夜半罟霖·2023-09-15 23:26

OpenMMLab AI 实战营笔记4——MMPreTrain算法库：构建高效、灵活、可扩展的深度学习模型

、丰富的模型三、推理API四、环境搭建——OpenMMLab软件栈五、OpenMMLab重要概念——配置文件六、代码框架七、配置及运作方式经典主干网络残差网络VisonTransformer(VIT)注意力机制自监督学习常见类型
静静AI学堂·2023-09-15 18:32

attention总结(补充附代码)

上期链接引言attention总结的初版主要介绍了注意力机制的理论概念，本文主要作为其补充，补充个人理解的一个加深以及相关变体的一些代码实现。
Lian_Ge_Blog·2023-09-15 03:46

一种基于注意机制的快速、鲁棒的混合气体识别和浓度检测算法，配备了具有双损失函数的递归神经网络

Afastandrobustmixturegasesidentificationandconcentrationdetectionalgorithmbasedonattentionmechanismequippedrecurrentneuralnetworkwithdoublelossfunction摘要提出一个由注意力机制组成的电子鼻系统
day. day. up!·2023-09-14 19:22

[论文阅读]Coordinate Attention for Efficient Mobile Network Design

在本文中，我们提出了一种新的移动网络注意力机制，将位置信息嵌入到通道注意力中，我们称之为“坐标注意力”。与通过二维全局池化将特征张量转换为单个特征向量的通道注意力不同
不是吧这都有重名·2023-09-14 09:05

Attention is all you need 论文笔记

该论文引入Transformer，主要核心是自注意力机制，自注意力（Self-Attention）机制是一种可以考虑输入序列中所有位置信息的机制。
顺顺不吃竹笋·2023-09-14 09:08

pytorch代码实现之动态卷积模块ODConv

ODConv通过并行策略采用多维注意力机制沿核空间的四个维度学习互补性注意力。作为一种“即插即用”的操作，它可以轻易的嵌入到现有CNN网络中。
我悟了-·2023-09-14 05:16

【深度学习-注意力机制attention 在seq2seq中应用】

注意力机制为什么需要注意力机制attention机制的架构总体设计一、attention本身实现评分函数attention在网络模型的应用-Bahdanau注意力加性注意力代码实现为什么需要注意力机制这是一个普通的
y_dd·2023-09-13 23:49

YOLOv5 加入SE注意力机制

步骤1：在common.py中添加SE模块classSE(nn.Module):def__init__(self,c1,c2,r=16):super(SE,self).__init__()self.avgpool=nn.AdaptiveAvgPool2d(1)self.l1=nn.Linear(c1,c1//r,bias=False)self.relu=nn.ReLU(inplace=True)s
我变成了柴犬·2023-09-13 06:25

PyTorch实现注意力机制及使用方法汇总，附30篇attention论文

不过我们今天要聊的重点不是transformer，而是注意力机制。
深度之眼·2023-09-12 19:26

BEVFromer论文研读

其中BEVqueries的参数是可学习的，它通过注意力机制查询多相机视角下的BEV空间特征
高的好想出去玩啊·2023-09-12 18:22

MapTR v2文章研读

相较于maptr，maptrv2改进之处：在分层query机制中引进解耦自注意力机制，有效降低了内存消耗；在训练阶段，额外引进一对多预测分支，增加正样本数量，有效加速模型收敛；在透视图(perspectiveview
高的好想出去玩啊·2023-09-12 18:51

[论文阅读]Visual Attention Network原文翻译

[论文链接]https://arxiv.org/abs/2202.09741摘要  虽然一开始是被设计用于自然语言处理任务的，但是自注意力机制在多个计算机视觉领域掀起了风暴。
不是吧这都有重名·2023-09-12 16:02

pytorch代码实现注意力机制之MHSA

MHSA注意力机制MHSA是多头自注意力机制(Multi-HeadSelf-Altention)，是自然语言处理领域中用于语言模型中的一种特殊机制。
我悟了-·2023-09-12 11:52

使用RNN联合注意力机制实现机器翻译

https://zhuanlan.zhihu.com/p/28834212具体来自这一篇文章的指导一、相关使用的查漏补缺：1.其中的两种神奇的处理字符的操作：2.关于nn.GRU()的参数解释和用法：http://t.csdn.cn/30PZL这篇文章讲得很清楚，需要用来预测的话看这篇也可以http://t.csdn.cn/VseAV这里重点讲述以下它的参数的含义：（1）输入参数：(2)输出参数：
诚威_lol_中大努力中·2023-09-12 07:03

yolov5添加ECA注意力机制

ECA注意力机制简介论文题目：ECA-Net:EfficientChannelAttentionforDeepConvolutionalNeuralNetworks论文地址：here 基本原理 ECANet
书中藏着宇宙·2023-09-12 04:52

注意力机制基础

基础部分比较简单，也还没有涉及到应用的核心，全是搬运，主要介绍几个例子。主要是搬运来的：动手学深度学习NLP-王树森1.心理学人类的注意力是有限的、有价值和稀缺的资源。而环境中的干扰注意力的信息却并不少。比如人类的视觉神经系统大约每秒收到位的信息，这远远超过了大脑能够完全处理的水平。幸运的是，人类的祖先已经从经验（也称为数据）中认识到“并非感官的所有输入都是一样的”。在整个人类历史中，这种只将注意
cartes1us·2023-09-12 01:23

Transformer-2. 注意力分数

上一节记录了注意力机制的基础，这一节主要做几个实现，沐神说qkv在不同任务中的角色不一，所以后续内容才会搞懂qkv是啥玩意。上节使用了高斯核来对查询和键之间的关系建模。
cartes1us·2023-09-12 01:51

LXMERT：视觉语言跨模态框架

LXMERT是由纽约大学和微软研究院的研究人员联合开发的，它是建立在BERT（BidirectionalEncoderRepresentationsfromTransformers）和视觉注意力机制的基础上的
丰。。·2023-09-11 20:56

神经网络 注意力机制 Q K V 理解

注意力机制公式为了简单假定Q矩阵K矩阵一样QK转置Q*K转置可以这么理解Q与K转置相乘，就是各个向量的内积，再除以内积的QK的模cos=(ab的内积)/(|a||b|)，实际是各向量的夹角。
look老猫·2023-09-11 16:13

注意力机制中的Q、K和V的意义

注意力机制中的Q、K和V的意义_Takoony的博客-CSDN博客_注意力机制qkv（这个讲的比较细致，透彻）Non-localNeuralNetworks-影醉阏轩窗-博客园自己对三个变量在图像中的理解首先
zouxiaolv·2023-09-11 16:13

（转载）注意力机制中的Q、K和V的意义

看到一篇解释，感觉还不错，后面深入理解了再来重新编辑一波其他好文章《AttentionIsAllYouNeed》注意力机制公式中Q,K,V的理解以翻译为例：source:我是中国人target:IamChinese
Activewaste·2023-09-11 15:43

注意力机制

注意力机制的本质思想：source:我是中国人target:IamChinese如果翻译单词I时，则Query为I，source中的“我”“是”“中国人”都是K，而V代表每个source中输出的contextvector
十二分热爱·2023-09-11 15:43

注意力机制Q K V

https://zhuanlan.zhihu.com/p/67115572要点：在模型训练好后，根据attention矩阵，我们就可以得到源语言和目标语言的对齐矩阵了通过设计一个函数将目标模块mt和源模块ms联系起来，然后通过一个soft函数将其归一化得到概率分布。https://www.cnblogs.com/tectal/p/10796922.html
火星种萝卜·2023-09-11 15:13

动手学深度学习之注意力机制

复习：2021/11/10.前言  相比于李老师讲的，更习惯使用XW或者xW的写法。这样和API(nn.Linear)更具有对应关系。1.安装库pipinstalld2l2.注意力公式公式一Attention(Q,K,V)=softmax(QKTdk)VAttention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d_k}})VAttention(Q,K,V)=softma
强强学习·2023-09-11 15:13

自注意力机制（转载）

知乎—super灬睿地址：https://zhuanlan.zhihu.com/p/364819787、https://zhuanlan.zhihu.com/p/365550383今早看见了一篇讲解自注意力机制的
Wang Xianchun·2023-09-11 15:12

注意力机制的qkv

.事实上,qkv不是针对句子和字来设定的,比如词嵌入是700维的.那么首先产生qkv的wq,wk,wv就是700*700维度,他们在一个头里面不变,和句子和字变了无关,类比于卷积核,全局共享.计算一下注意力机制的参数量更明白这点
wangmarkqi·2023-09-11 15:12

YOLOv5算法改进（15）— 更换Neck之AFPN

前期回顾：YOLOv5算法改进（1）—如何去改进YOLOv5算法YOLOv5算法改进（2）—添加SE注意力机制YOLOv5算法
小哥谈·2023-09-11 13:19

注意力机制讲解与代码解析

一、SEBlock(通道注意力机制)先在H*W维度进行压缩，全局平均池化将每个通道平均为一个值。
CVplayer111·2023-09-11 07:09

多输入多输出 | MATLAB实现CNN-LSTM-Attention卷积神经网络-长短期记忆网络结合SE注意力机制的多输入多输出预测

多输入多输出|MATLAB实现CNN-LSTM-Attention卷积神经网络-长短期记忆网络结合SE注意力机制的多输入多输出预测目录多输入多输出|MATLAB实现CNN-LSTM-Attention卷积神经网络
机器学习之心·2023-09-11 05:43

对Transformer中的Attention(注意力机制)的一点点探索

摘要：本文试图对Transformer中的Attention机制进行一点点探索。并就6个问题深入展开。✅NLP研1选手的学习笔记简介：小王，NPU，2023级，计算机技术研究方向：文本生成、摘要生成文章目录一、为啥要写这篇博客？二、一些灵魂问题，能回答上吗？1.Attention的输入是什么？输出是什么？2.Attention中的输入(input)与“Q、K、V”是啥关系？3.Attention中
一支王同学·2023-09-10 18:39

【ICCV2023】Robustifying Token Attention for Vision Transformers

RobustifyingTokenAttentionforVisionTransformers论文：https://arxiv.org/abs/2303.11126代码：暂未开源解读：ICCV2023|Token过度聚焦暴露注意力机制弱点
m0_61899108·2023-09-10 13:13

医学图像分割新方法：超越自注意力: 用于医学图像分割的可变形大核注意力

前言本文提出可变形大核注意力(D-LKANet)，即采用大卷积核来充分理解体素上下文的简化注意力机制，在学分割数据集(Synapse、NIH胰腺和皮肤病变)上证明了其卓越的性能医学图像分割通过Transformer
xuxu1116·2023-09-10 10:05

ChatGPT3 Transformer 的多模态全能语言模型

它是一个注意力机制（At
summer_west_fish·2023-09-10 09:34

AIGC之文本内容生成概述（下）—— GPT

GenerativePre-TrainedTransformer）提到GPT模型，就不得不说众所周知的ChatGPT模型，ChatGPT的发展可以追溯到2018年，当时OpenAI发布了第一代GPT模型，即GPT-1，该模型采用Transformer结构和自注意力机制
深度人工智能·2023-09-10 08:21

深度学习 | 关于transformer你必须知道的20个知识点

Transformer是Google于2017年提出的一种基于注意力机制的神经网络结构,最初用于机器翻译任务。2.Transformer相比于LSTM有什么优势?
往日无痕·2023-09-10 07:22

时间序列之：多步预测、长序列预测——Informer / ARIMA

它结合了自注意力机制、卷积神经网络和传统的循环神经网络，以提高时间序列预测的准确性和效率。Informer模型的核心思想是将输入序列分成不同的时间段，然后通过编码器-解码器结构进行建模
ManRock·2023-09-10 07:22

关于GPT的20个知识，你都知道吗？

GPT属于transformer模型家族,是一种基于注意力机制的序列到序列学习模型。5.GPT使用
往日无痕·2023-09-10 07:21

深度学习中的注意力模型 个人总结

所以，决定写篇博客结合自己的研究方向和论文模型来总结一下注意力机制。人类的视觉注意力从注意力模型的命名方式看，很明显其借鉴了人类的注意力机制，因此，我们首先简单介绍人类视觉的选择性注意力机制。
万工博客·2023-09-10 01:03

Transformer（一）—— Attention & Batch Normalization

Transformer详解一、RNN循环神经网络二、seq2seq模型三、Attention（注意力机制）四、Transformer4.1selfattention4.2self-attention的变形
深浅卡布星·2023-09-09 23:53
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他