ATTENTION

Transformer模型中的Attention算法

参考【经典精读】万字长文解读Transformer模型和Attention机制-知乎(zhihu.com)https://zhuanlan.zhihu.com/p/104393915图解Transformer_transformer
全是头发的羊羊羊·2023-12-31 05:31

DBO优化BiLSTM-Attention实现风电功率预测

今天出一期基于DBO-BiLSTM-Attention的风电功率预测。
今天吃饺子·2023-12-31 05:21

自注意力机制(self-attention)——考虑全局又聚焦重点

1自注意力机制概述有时候我们期望网络能够看到全局，但是又要聚焦到重点信息上。比如在在做自然语言处理时，句子中的一个词往往不是独立的，和它上下文相关，但是和上下文中不同的词的相关性是不同的，所以我们在处理这个词时，在看到它的上下文的同时也要更加聚焦与它相关性更高的词，这就要用到常说的自注意力机制。比如下面这两幅图，通过自注意力机制处理后，计算出了词间的相关性，可以看到第一个图的it与animal的相
偶尔写一写·2023-12-31 04:29

论文阅读——EfficientViT（cvpr2023）

EfficientViT:MemoryEfficientVisionTransformerwithCascadedGroupAttention1、从三个角度探讨如何提高visiontransformers
じんじん·2023-12-31 02:02

Transformer的几个问题

Transformer是《AttentionIsAllYouNeed》提出来的，结构如下所示：讲解Transformer的文章很多，这里不再重复，可以参考文献1和文献2本文只想讲一些在看Transformer
高的好想出去玩啊·2023-12-30 20:12

【Transformer】深入理解Transformer模型2——深入认识理解（上）

前言Transformer模型出自论文：《AttentionisAllYouNeed》2017年近年来，在自然语言处理领域和图像处理领域，Transformer模型都受到了极为广泛的关注，很多模型中都用到了
小白冲鸭·2023-12-30 20:42

【Transformer】深入理解Transformer模型1——初步认识了解

前言Transformer模型出自论文：《AttentionisAllYouNeed》2017年近年来，在自然语言处理领域和图像处理领域，Transformer模型都受到了极为广泛的关注，很多模型中都用到了
小白冲鸭·2023-12-30 20:41

【Transformer】深入理解Transformer模型2——深入认识理解（下）

前言Transformer模型出自论文：《AttentionisAllYouNeed》2017年近年来，在自然语言处理领域和图像处理领域，Transformer模型都受到了极为广泛的关注，很多模型中都用到了
小白冲鸭·2023-12-30 20:08

根据DCT特征训练CNN

记录一次改代码的挣扎经历：看了几篇关于DCT频域的深度模型文献，尤其是21年FcaNet：基于DCT的attentionmodel，咱就是说想试试将我模型的输入改为分组的DCT系数，然后就开始下面的波折了
youyiketing·2023-12-30 20:21

Python深度学习技术进阶篇|注意力（Attention）机制详解

Transformer模型（BERT、GPT-1/2/3/3.5/4、DETR、ViT、SwinTransformer等）、生成式模型（变分自编码器VAE、生成式对抗网络GAN、扩散模型DiffusionModel等）、目标检测算法（R-CNN、FastR-CNN、FasterR-CNN、YOLO、SDD等）、图神经网络（GCN、GAT、GIN等）、强化学习（Q-Learning、DQN等）、深度
AIzmjl·2023-12-30 19:02

【OpenCV】OpenCV 4.9.0 正式发布

此次发布有DNN模块对ONNXAttention、Einsum等层的支持、新的fastGEMM实现、transformers的实验性支持等诸多亮点。
youcans_·2023-12-30 17:14

Efficient Classification of Very Large Images with Tiny Objects（CVPR2022待补）

文章目录Abstract挑战此前的方法我们提出成果IntroductionZoom-InNetworkTwo-stageHierarchicalAttentionSampling内存需求EfficientContrastiveLearningwithAttentionSamplingRelatedWorkTinyobjectclassificationAttentionComputationaleffi
怎么全是重名·2023-12-30 16:29

Efficient Classification of Very Large Images with Tiny Objects（CVPR2022补1）

文章目录Two-stageHierarchicalAttentionSamplingOne-stageTwo-Stage内存需求EfficientContrastiveLearningwithAttentionSamplingTwo-stageHierarchicalAttentionSampling
怎么全是重名·2023-12-30 16:56

论文解读：Coordinate Attention for Efficient Mobile Network Design(CVPR2021)

论文前言原理其实很简单，但是论文作者说得很抽象，时间紧的建议直接看3.1中原理简述CBMA、原理简述CBMA以及3.2中原理简述coordinateattentionblock即可。
十有久诚·2023-12-30 16:56

Self-attention学习笔记（Self Attention、multi-head self attention）

李宏毅机器学习TransformerSelfAttention学习笔记记录一下几个方面的内容1、SelfAttention解决了什么问题2、SelfAttention的实现方法以及网络结构Multi-headSelfAttentionpositionalencoding3
shuyeah·2023-12-30 16:49

Transformer(seq2seq、self-attention)学习笔记

在self-attention基础上记录一篇Transformer学习笔记Transformer的网络结构EncoderDecoder模型训练与评估Transformer的网络结构Transformer
shuyeah·2023-12-30 16:47

学习记录——BiFormer

BiFormerVisionTransformerwithBi-LevelRoutingAttentionBiFormer:具有双电平路由注意的视觉变压器  摘要作为视觉转换器的核心组成部分，注意力是捕捉长期依赖关系的有力工具
Chaoy6565·2023-12-30 12:50

Lesson15 环境艺术家：花园是生活的镜子What gardeningtaught me about life

livingunderneaththekitchenfloor.Itwashidingbehindleftoverpatchesoflinoleumontheworn-outfloormymotherwashavingremoved.Theworkmanwasbusywhenthegardencaughtmyattention.Myeyesbecam
漫步和蜗牛·2023-12-30 11:43

2020-11-08每日美文阅读和英语学习(第223天)

英语学习TheBestTeacherEver2Mrs.ThompsonpaidparticularattentiontoTeddy.Assheworkedwithhim,hismindseemedtocomealive.Themoresheencouragedhim
爱秋拾·2023-12-30 11:45

利用双向注意流进行机器理解

利用双向注意流进行机器理解本文基于Bi-DirectionalAttentionFlowForMachineComprehension一文1.概述MachineComprehension也就是机器理解，
Mezereon·2023-12-30 07:56

论文阅读——Slide-Transformer（cvpr2023）

Slide-Transformer:HierarchicalVisionTransformerwithLocalSelf-Attention一、分析1、改进transformer的几个思路：（1）将全局感受野控制在较小区域
じんじん·2023-12-30 06:33

SCI一区级 | Matlab实现KOA-CNN-BiLSTM-Mutilhead-Attention开普勒算法优化卷积双向长短期记忆神经网络融合多头注意力机制多变量多步时间序列预测

SCI一区级|Matlab实现KOA-CNN-BiLSTM-Mutilhead-Attention开普勒算法优化卷积双向长短期记忆神经网络融合多头注意力机制多变量多步时间序列预测目录SCI一区级|Matlab
机器学习之心·2023-12-30 05:01

常见的LLM推理加速解决方案

KVCacheint量化PagedAttentionGQASpeculativeDecodingcodeAcceleratingGenerativeAIwithPyTorchII:GPT,FastFastInferencefromTransformersviaSpeculativeDecoding
transformer_WSZ·2023-12-29 17:45

SelfAttention和MultiHeadAttion实现demo

#encoding:utf-8frommathimportsqrtimporttorchimporttorch.nnasnnclassSelf_Attention(nn.Module):def__init
极乐净土0822·2023-12-29 16:38

[DAU-FI Net开源 | Dual Attention UNet+特征融合+Sobel和Canny等算子解决语义分割痛点]

文章目录概要IIntroduction小结概要提出的架构，双注意力U-Net与特征融合（DAU-FINet），解决了语义分割中的挑战，特别是在多类不平衡数据集上，这些数据集具有有限的样本。DAU-FINet整合了多尺度空间-通道注意力机制和特征注入，以提高目标定位的准确性。核心采用了一个多尺度深度可分离卷积块，捕获跨尺度的局部模式。这个块由一个空间-通道挤压与激励（scSE）注意力单元补充，该单元
落叶霜霜·2023-12-29 06:51

三十七章：Slide-Transformer:Hierarchical Vision Transformer with Local Self-Attention ——具有局部自注意力的分层视觉的TF

0.摘要自注意机制是VisionTransformer（ViT）最近进展的关键因素，它能够从全局上下文中进行自适应特征提取。然而，现有的自注意方法要么采用稀疏的全局注意力，要么采用窗口注意力来降低计算复杂度，这可能会损害局部特征的学习或者受到一些手工设计的限制。相比之下，局部注意力将每个查询的感受野限制在其相邻像素上，同时享受卷积和自注意力的优势，即局部归纳偏差和动态特征选择。然而，当前的局部注意
Joney Feng·2023-12-29 06:44

RT-DETR改进策略：AAAI 2024 最新的轴向注意力| 即插即用，改进首选|全网首发，包含数据集和代码，开箱即用！

摘要本文提出了一种名为Multi-scaleCross-axisAttention（MCA）的方法，用于解决医学图像分割中的多尺度信息和长距离依赖性问题。
静静AI学堂·2023-12-29 02:25

ubuntu20.04 conda环境配置Mask2former记录

建议先看完再按照步骤安装代码地址：GitHub-facebookresearch/Mask2Former:Codereleasefor"Masked-attentionMaskTransformerforUniversalImageSegmentation
小鳄鱼先生·2023-12-29 01:24

分别使用MLP，CNN和Attention对Kaggle上的LOL比赛数据进行预测胜负

写在前面这篇博客只是记录一下在训练神经网络中的一些问题和熟悉一下流程，毕竟好久没有训练一个模型了。课程正好需要我们去进行训练，我就选择了三个比较经典的模型进行预测。过程分为：处理数据，划分训练集和预测集，定义模型和优化器，生成混淆矩阵。整个部分比较简单，使用了GPU进行训练，主要是熟悉训练网络的流程和框架。处理数据首先是读入数据，使用了pandas读数据csv_data='./data/high_
LANGZHIZHEN·2023-12-28 22:06

register_forward_hook多输入问题

classUpBlock_attention(nn.Module):defforward(self,fuse,out,fuse_a,out_a):假如模块有四个输出，我需要勾取UpBlock_attention
翰墨大人·2023-12-28 06:31

Transfomer重要源码解析：缩放点击注意力，多头自注意力，前馈网络

缩放点积自注意力(ScaledDot-ProductAttention)缩放点积自注意力是一种自注意力机制，它通过查询（Query）、键（Key）和值（Value）的关系来计算注意力权重。
hadiii·2023-12-28 00:19

transformer模型结构|李宏毅机器学习21年

vd_source=f66cebc7ed6819c67fca9b4fa3785d39文章目录概述seq2seqtransformerEncoderDecoderAutoregressive（AT）self-attention
小居快跑·2023-12-27 23:01

【论文笔记】BiFormer: Vision Transformer with Bi-Level Routing Attention

论文地址：BiFormer:VisionTransformerwithBi-LevelRoutingAttention代码地址：https://github.com/rayleizhu/BiFormervisiontransformer
justld·2023-12-27 22:54

BO-CNN-BiLSTM-Mutilhead-Attention贝叶斯优化卷积神经网络双向长短期记忆网络融合多头注意力机制预测matlab代码

✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，代码获取、论文复现及科研仿真合作可私信。个人主页：Matlab科研工作室个人信条：格物致知。更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统信号处理图像处理路径规划元胞自动机无人机内容介绍在当今信息爆炸的时代，数据回归预测成为了许多领域的重要课题。为了提高预测的准确性和效率，研究人员不断探
前程算法matlab屋·2023-12-27 16:56

多维时序预测|基于注意力机制的卷积神经网络cnn-attention实现回归预测附matlab仿真

✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，代码获取、论文复现及科研仿真合作可私信。个人主页：Matlab科研工作室个人信条：格物致知。更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统信号处理图像处理路径规划元胞自动机无人机内容介绍近年来，深度学习技术在各个领域取得了巨大的成功，其中卷积神经网络（CNN）作为一种重要的深度学习模型，
前程算法matlab屋·2023-12-27 16:56

【论文解读】System 2 Attention提高大语言模型客观性和事实性

一、简要介绍本文简要介绍了论文“System2Attention(issomethingyoumightneedtoo)”的相关工作。
合合技术团队·2023-12-27 09:30

CROSSFORMER: TRANSFORMER UTILIZING CROSSDIMENSION DEPENDENCY FOR MULTIVARIATE TIME SERIES FORECASTIN

CrossFromer主要的切入点在于，之前的Transformer更多的考虑是如何通过时间维度attention建立时序上的关系，而缺少面对多元时间序列预测时，对不同变量关系之间的刻画。
流浪的诗人，·2023-12-27 09:57

幸福其实很简单。

第1个A是attention，叫全神贯注，是让你在这三分钟当中放下手机，放下所有会让你分心的事情，然后专心的投入跟对方互动，全神贯注只有三分钟。第2个A是affe
健谈的萝拉·2023-12-27 08:21

论文：FEED-FORWARD NETWORKS WITH ATTENTION CAN SOLVE SOME LONG-TERM MEMORY PROBLEMS

题目：FEED-FORWARDNETWORKSWITHATTENTIONCANSOLVESOMELONG-TERMMEMORYPROBLEMS”(Raffel和Ellis,2016,p.1)“带有注意力的前馈网络可以解决一些长期记忆问题
xinxuann·2023-12-26 20:28

pytorch 实现 Restormer 主要模块（多头通道自注意力机制和门控制结构）

1.MDTA(Multi-DconvHeadTransposedAttention：多头注意力机制##Multi-DConvHeadTransposedSel
木水_·2023-12-26 07:24

[论文翻译]Attention Is All You Need

引言今天带来神作AttentionIsAllYouNeed的翻译，该作提出了Transformer模型。很牛逼的模型像PLATO-2和GPT-3都是基于Transformer。
愤怒的可乐·2023-12-26 06:07

新概念第二册（1）

12）privateadj.私人的conversationn.谈话theatren.剧场，戏院seatn.座位playn.戏loudlyadv.大声地angryadj.生气的angrilyadv.生气地attentionn
哆啦是个程序员·2023-12-26 02:48

【论文阅读】MCANet: Medical Image Segmentation with Multi-Scale Cross-Axis Attention

文章目录摘要创新点总结实现效果总结摘要链接：https://arxiv.org/abs/2312.08866医学图像分割是医学图像处理和计算机视觉领域的关键挑战之一。由于病变区域或器官的大小和形状各异，有效地捕捉多尺度信息和建立像素间的长距离依赖性至关重要。本文提出了一种基于高效轴向注意力的多尺度交叉轴注意（MCA）方法来解决这些问题。MCA通过计算两个并行轴向注意力之间的双向交叉注意力，以更好地
AI浩·2023-12-25 14:40

群组推荐模型---SoAGREE(Social-Enhanced Attentive Group Recommendation)

SoAGREE概要方法HierarchicalAttentionNetworkLearningAttentiveUserRepresentationLearningNCF(NeuralCollaborativeFiltering
kk变色龙13·2023-12-25 12:00

改进YOLOv8注意力系列三：结合CrissCrossAttention、ECAAttention、EMAU期望最大化注意力

改进YOLOv8注意力系列三：结合CrissCrossAttention、ECAAttention、EMAU期望最大化注意力代码CrissCrossAttention注意力ECAAttention通道注意力
一休哥※·2023-12-25 11:47

rasa课程第7周小结

收获01学习了GPT2的一些基本概念，重新回顾了bert中attention的基本概念和原理，了解了gpt2中mask的attention的基本原理。
weixin_41710583·2023-12-25 09:48

第三十五周：文献阅读+Self-attention

目录摘要Abstract文献阅读：基于LSTM和注意机制的水质预测现有问题提出方法前提点1.LSTM2.注意力机制研究模型（AT-LSTM）结构模型验证总结AT-LSTM优于LSTM的方面Self-attention
m0_66015895·2023-12-25 03:14

第三十六周：文献阅读+注意力/自注意力机制

目录摘要Abstract文献阅读：锂离子电池RUL预测的SA-LSTM现有问题提出方法提出方法的结构SA-LSTM预测模型的结构研究实验研究贡献注意力机制Self-Attention（自注意力机制）注意力与自注意力代码实现
m0_66015895·2023-12-25 02:13

极智一周 | MoE、FlashAttention、PTQ、MI300禁令、H100利润空间、戴口罩检测 And so on

欢迎关注我的公众号[极智视界]，获取我的更多技术分享大家好，我是极智视界，带来本周的[极智一周]，关键词：MoE、FlashAttention、PTQ、MI300禁令、H100利润空间、戴口罩检测Andsoon
极智视界·2023-12-24 21:19

【计算机视觉 | CNNs】卷积神经网络18种有效创新方法分享，涵盖注意力机制、空间开发等7大方向（下）

基于特征映射的CNN开发5.1SqueezeandExcitation六、基于（输入）通道利用的CNN6.1ChannelBoostedCNNusingTL七、基于注意力的CNNs7.1ResidualAttentionNeuralNe
旅途中的宽~·2023-12-24 17:59
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他