attention

2022最新版-李宏毅机器学习深度学习课程-P49 GPT的野望

GPT→类似于TransformerEncoder训练任务：PredictNextToken使用MASK-attention，不断预测“下一个token”。可以用GPT生成文章。
QwQllly·2023-11-22 08:49

多头注意力机制Multi-head-attention

importtorchimporttorch.nnasnnclassMulti_Head_Attention(nn.Module):def__init__(self,dim,num_heads=8,attn_drop
Yuezero_·2023-11-22 06:09

YOLO改进系列之注意力机制（GAM Attention模型介绍）

作者的目标是设计一种注意力机制能够在减少信息弥散的情况下也能放大全局维交互特征，采用序贯的通道-空间注意力机制并重新设计了CBAM子模块，GAMAttention的整体结
BestSongC·2023-11-22 03:06

YOLO改进系列之注意力机制（CoTAttention模型介绍）

简介CoTAttention网络是一种用于多模态场景下的视觉问答（VisualQuestionAnswering，VQA）任务的神经网络模型。
BestSongC·2023-11-22 03:35

文案复盘第五天——促进销售的五个步骤

其中最为人所知的公式见AIDA,即注意力(Attention)、兴趣(Interest）、渴望（Desire）,以及行动(Action)。
屋塔室的小王后·2023-11-21 21:43

QT解析JSON格式文件

参考博客文件格式{"attentions":[{"meta_key":"sys.ram.s1","inference":{"mean":15600,"max":18000}},{"meta_key":"
aspiretop·2023-11-21 18:14

论文笔记2：Deep Attention Recurrent Q-Network

参考文献：[1512.01693]DeepAttentionRecurrentQ-Network（本篇DARQN）[1507.06527v3]DeepRecurrentQ-LearningforPartiallyObservableMDPs
uuummmmiiii·2023-11-21 18:03

光谱融合——Deep Spatio-spectral Attention Convolutional Neural Networks

HyperspectralImageSuper-ResolutionviaDeepSpatiospectralAttentionConvolutionalNeuralNetworks简介论文链接对于高分辨率多光谱
Miracle Fan·2023-11-21 10:37

注意力机制（Attention）、自注意力机制(Self Attention)和多头注意力(Multi-head Self Attention)机制详解

目录参考一、Attention注意力机制原理计算过程二、自注意力机制2.1自注意力关键！！
好喜欢吃红柚子·2023-11-21 10:23

自然语言处理：Transformer与GPT

1基本概念1.1Transformer基本概念Transformer是一种深度学习架构，最初在2017年由Google的研究人员在论文《AttentionisAllYouNeed》中提出。
智慧医疗探索者·2023-11-21 10:51

基于变形卷积和注意机制的带钢表面缺陷快速检测网络DCAM-Net（论文阅读笔记）

原论文链接->DCAM-Net:ARapidDetectionNetworkforStripSteelSurfaceDefectsBasedonDeformableConvolutionandAttentionMechanism
晴友读钟·2023-11-21 07:24

Transformer解释

Attention的时间复杂度主要受相似度计算及加权和的计算决定，n*dd/h*n->O(nd)，n：输入序列长度，d：向量维度，h：注意力个数。
Mark_Aussie·2023-11-21 06:56

Transformer解码层用mask解释

Transformer解码层需要用mask的原因如下：在Transformer解码过程中，为了模拟在真实的inference场景中，当前位置看不到下一位置，且同时需要上一位置的信息，所以在训练的时候加了attentionmask
一直跑·2023-11-21 06:26

FlashAttention计算过程梳理

FlashAttention的速度优化原理是怎样的？
胖胖大海·2023-11-21 03:05

三维目标检测----Attentional PointNet for 3D-Object Detection in Point Clouds论文解读

代码链接paper链接个人博客论文总结这是2019年CVPR的一篇文章，本文提出了一种新的利用循环神经网络来做三维目标检测的方法。并且使用了类似于BERT中讲图像分割成patch的方法来处理大型的点云场景。本文的实验效果一般，速度在kitti排行榜上也很一般，不知道为什么能发CVPR.下面简单介绍一下本文的主要思想。作者首先讲点云场景划分为12×1212\times1212×12大小的patch，
twn29004·2023-11-21 02:18

图解Transformer

https://blog.csdn.net/qq_41664845/article/details/84969266http://nlp.seas.harvard.edu/2018/04/03/attention.html
AbeLiu小亮·2023-11-21 02:00

机器学习笔记

目录机器学习基本概念介绍深度学习反向传播前向传播反向传播pytorch梯度下降算法卷积神经网络（CNN）卷积层池化层自注意力机制（self-attention）循环神经网络（RNN）长短期记忆递归神经网络
czyxw·2023-11-21 01:57

论文阅读：Pointer over Attention: An Improved Bangla Text Summarization Approach Using Hybrid Pointer Gen

结合指针和注意力：一种改进的基于混合指针生成器网络的孟加拉语文本摘要方法摘要：尽管神经序列到序列模型在抽象文本摘要中取得了成功，但它也有一些缺点，例如重复不准确的事实细节，并倾向于重复自己。我们提出了一种混合指针生成器网络来解决事实细节再现不充分和短语重复的缺点。我们使用混合指针生成器网络来增强基于注意力的序列到序列，该网络可以生成词汇表外的单词，并提高再现真实细节的准确性，以及防止重复的覆盖机制
张·2023-11-20 21:54

DPAFNet：一种用于多模式脑肿瘤分割的残差双路径注意力融合卷积神经网络

DPAFNet:AResidualDual-PathAttention-FusionConvolutionalNeuralNetworkforMultimodalBrainTumorSegmentationDPAFNet
火柴狗·2023-11-20 12:45

11-注意力机制

最开始attention在CV领域中被提出，通过对全局的扫描，获取需要重点关注的区域，然后对这一区域投入更多的资源，获取更多与目标有关的细节信息，而忽视其他无关信息。
pepsi_w·2023-11-20 12:13

（2022，MoCA）Few-shot 图像生成的原型记忆（Prototype Memory）和注意力机制

PrototypeMemoryandAttentionMechanismsforFewShotImageGeneration公众号：EDPJ目录0.摘要1.简介2.相关工作3.方法3.1原型记忆学习3.2
EDPJ·2023-11-20 12:43

现在开始学瑜伽（0052-2.1）

Thesecondchapteriscalledsādhanapāda.Itdescribesthequalitiesnecessarytochangethemindeffectivelyandgraduallyfromastateofdistractiontooneofattentionandwhythesequalitiesareimportantandwhat
Celia音希小筑·2023-11-20 12:19

注意力机制的原理及实现（pytorch）

本文参加新星计划人工智能(Pytorch)赛道：https://bbs.csdn.net/topics/613989052空间注意力机制（attentionUnet）classAttention_block
资料加载中·2023-11-20 07:16

flash_attn及auto-gptq本地安装成功

1.flash_attn安装https://github.com/Dao-AILab/flash-attention/releases地址github地址下载对应cuda和pytorch版本的flash-attention
我是菜鸟杨杨杨·2023-11-20 06:51

CVPR -- QS-Attn: Query-Selected Attention for Contrastive Learning in I2I Translation。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录摘要一、框架图一、目前unpairedI2I二、本文方法三、实验结果摘要提示：论文原文摘要：未配对的图像到图像(I2I)翻译通常需要在不同域中最大化源图像和已翻译图像之间的互信息，这对于生成器保留源内容并防止其进行不必要的修改至关重要。自监督对比学习已经成功应用于I2I。通过将来自相同位置的要素限制为比来自不同位置的要素更近，
kkgo·2023-11-20 06:21

qwen大模型，推理速度慢，单卡/双卡速度慢，flash-attention安装，解决方案

BF16/FP16)1.1在qwen-14b-int4也会有同样的现象2、使用309024G显卡两张3、模型加载的device是auto，device=“auto”解决方案使用多卡推理，需要开启flash-attention
Bean_zx·2023-11-20 06:19

Flash-Attention工程化应用实践

Flash-Attention工程化应用实践本文主要介绍通过如何通过源码方式使用flash-attention，以实现更自由的调用。
有来有去9527·2023-11-20 06:47

【bugfix】安装 flash-attn 报错

目录1.报错信息2.解决方法安装flashattention报错1.报错信息Buildingwheelforflash-attn(setup.py)...errorerror:subprocess-exited-with-error
Encarta1993·2023-11-20 06:42

深入理解注意力机制（下）——缩放点积注意力及示例

一、介绍在这篇文章中，我们将重点介绍Transformer背后的ScaledDot-ProductAttention，并详细解释其计算逻辑和设计原理。
无水先生·2023-11-20 05:45

C-Net：用于乳腺超声图像分割的具有全局指导和细化残差的级联卷积神经网络

C-Net期刊分析摘要贡献方法整体框架1.Bidirectionalattentionguidancenetwork(BAGNet)2.Refinementresidualnetwork(RFNet)实验
Philo`·2023-11-20 02:29

2019-08-26工作进展

acc:0.699auc:0.703precision:0.941；对文章GatedAttentive-AutoencoderforContent-AwareRecommendation之中用到的使用attention
Songger·2023-11-20 01:10

Self-Attention原理

Self-Attention原理论文《AttentionIsAllYouNeed》中公布的Transformer示意图整体还是Encoder-Decoder结构。
zzZ_CMing·2023-11-19 23:47

Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1

日萌社人工智能AI：KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战（不定时更新）Encoder编码器-Decoder解码器框架+Attention注意力机制Pytorch
あずにゃん·2023-11-19 22:16

Transformer代码实战

Transformer代码实战翻译来自http://nlp.seas.harvard.edu/2018/04/03/attention.html在过去的一年里，很多人都想到了来自“AttentionisAllYouNeed
发呆的比目鱼·2023-11-19 22:45

【ICCV 2023】EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction

EfficientViT:Multi-ScaleLinearAttentionforHigh-ResolutionDensePrediction,ICCV2023论文：https://arxiv.org
m0_61899108·2023-11-19 20:59

【论文阅读】Swin Transformer Embedding UNet用于遥感图像语义分割

SwinTransformerEmbeddingUNet用于遥感图像语义分割文章目录【论文阅读】SwinTransformerEmbeddingUNet用于遥感图像语义分割一、相应介绍二、相关工作2.1基于CNN的遥感图像语义分割2.2Self-Attention
川川子溢·2023-11-19 20:57

Stable Diffusion web UI 文档

特征带有图像的详细功能展示：原始txt2img和img2img模式一键安装并运行脚本（但你仍然必须安装python和git）外画修复彩色素描提示矩阵稳定扩散高档Attention，指定模型应该更多关注的文本部分穿着
一只会写程序的猫·2023-11-19 17:08

多维时序 | MATLAB实现PSO-GRU-Attention粒子群优化门控循环单元融合注意力机制的多变量时间序列预测

多维时序|MATLAB实现PSO-GRU-Attention粒子群优化门控循环单元融合注意力机制的多变量时间序列预测目录多维时序|MATLAB实现PSO-GRU-Attention粒子群优化门控循环单元融合注意力机制的多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍
机器学习之心·2023-11-19 16:32

分类预测 | Matlab实现PSO-GRU-Attention粒子群算法优化门控循环单元融合注意力机制多特征分类预测

分类预测|Matlab实现PSO-GRU-Attention粒子群算法优化门控循环单元融合注意力机制多特征分类预测目录分类预测|Matlab实现PSO-GRU-Attention粒子群算法优化门控循环单元融合注意力机制多特征分类预测分类效果基本描述程序设计参考资料分类效果基本描述
机器学习之心·2023-11-19 15:42

2022-2023学年英语周报九年级第7期答案及试题（初三第七期）

阅读理解：Weareoftentoldtopayattention进入查看：2022-2023学年英语周报九年级第7期答案及试题（初三第七期）Weareoftentoldtopayattentiontowhatourmotherstellus.Mostofusenjoylisteningtoourmothersspeaking.ScientistsatStanfordUniversity
gaokaos·2023-11-19 06:49

YOLOv8-seg改进：注意力系列篇 | 一种简单有效的可变形的自注意力模块DAT | CVPR 2022

本文改进：DeformableAttentionTransformer，一种简单有效的可变形的自注意力模块，增强sparseattention的表征能⼒；DAT小目标分割&复杂场景首选，实现涨点YOLOv8
会AI的学姐·2023-11-18 19:06

YOLOv8-Seg改进策略：全新的聚焦式线性注意力模块Focused Linear Attention | ICCV2023

本文改进：深入分析了现有线性注意力方法的缺陷，并提出了一个全新的聚焦的线性注意力模块（FocusedLinearAttention），同时具有高效性和很强的模型表达能力。
会AI的学姐·2023-11-18 19:05

YOLOv8改进 | DAttention (DAT)注意力机制实现极限涨点

论文地址官方地址：官方代码的地址代码地址：文末有修改了官方代码BUG的代码块复制粘贴即可一、本文介绍本文给大家带来的是YOLOv8改进DAT(VisionTransformerwithDeformableAttention
Snu77·2023-11-18 18:01

时间序列预测 | Matlab基于卷积神经网络-双向长短期记忆网络结合注意力机制(CNN-BILSTM-Attention)时间序列预测，单列数据输入

文章目录效果一览文章概述部分源码参考资料效果一览文章概述时间序列预测|Matlab基于卷积神经网络-双向长短期记忆网络结合注意力机制(CNN-BILSTM-Attention)时间序列预测，单列数据输入评价指标包括
前程算法屋·2023-11-18 17:17

多维时序预测 | Matlab基于卷积神经网络-长短期记忆网络结合注意力机制(CNN-LSTM-Attention)多变量时间序列预测，多列变量输入

文章目录效果一览文章概述部分源码参考资料效果一览文章概述多维时序预测|Matlab基于卷积神经网络-长短期记忆网络结合注意力机制(CNN-LSTM-Attention)多变量时间序列预测，多列变量输入评价指标包括
前程算法屋·2023-11-18 17:17

多维时序预测 | Matlab基于卷积神经网络-双向长短期记忆网络结合注意力机制(CNN-BILSTM-Attention)多变量时间序列预测

文章目录效果一览文章概述部分源码参考资料效果一览文章概述多维时序预测|Matlab基于卷积神经网络-双向长短期记忆网络结合注意力机制(CNN-BILSTM-Attention)多变量时间序列预测评价指标包括
前程算法屋·2023-11-18 17:17

时间序列预测 | Matlab基于卷积神经网络-长短期记忆网络结合注意力机制(CNN-LSTM-Attention)时间序列预测，单列数据输入模型

文章目录效果一览文章概述部分源码参考资料效果一览文章概述时间序列预测|Matlab基于卷积神经网络-长短期记忆网络结合注意力机制(CNN-LSTM-Attention)时间序列预测，单列数据输入模型评价指标包括
前程算法屋·2023-11-18 17:16

多维时序预测 | Matlab基于斑马优化卷积神经网络结合长短期记忆网络融合注意力机制的多变量时间序列预测，ZOA-CNN-LSTM-Attention多变量时间序列超前24步回归预测算法

文章目录效果一览文章概述部分源码参考资料效果一览文章概述多维时序预测|Matlab基于斑马优化卷积神经网络结合长短期记忆网络融合注意力机制的多变量时间序列预测，ZOA-CNN-LSTM-Attention
前程算法屋·2023-11-18 17:46

多元回归预测 | Matlab基于卷积神经网络-长短期记忆网络结合注意力机制(CNN-LSTM-Attention)回归预测，多变量输入模型

文章目录效果一览文章概述部分源码参考资料效果一览文章概述多元回归预测|Matlab基于卷积神经网络-长短期记忆网络结合注意力机制(CNN-LSTM-Attention)回归预测，多变量输入模型评价指标包括
前程算法屋·2023-11-18 17:46

多元回归预测 | Matlab基于卷积神经网络-双向长短期记忆网络结合注意力机制(CNN-BILSTM-Attention)回归预测，多变量输入模型

文章目录效果一览文章概述部分源码参考资料效果一览文章概述多元回归预测|Matlab基于卷积神经网络-双向长短期记忆网络结合注意力机制(CNN-BILSTM-Attention)回归预测，多变量输入模型评价指标包括
前程算法屋·2023-11-18 17:46
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他