attention 第25页

transformer理解

self-attention首先利用自身embeddingq，所有embeddingk乘积得到的是自身embedd

yyfhq·2023-10-22 14:25

Bert 结构理论笔记 Bert理解

Bert理解AttentionAttention函数的本质可以被描述为一个查询（query）到一系列（键key-值value）对的映射在计算attention时主要分为三步，第一步是将query和每个key

白又白胖又胖·2023-10-22 14:51

BERT论文理解-理论版

至于什么是变换器的注释及实现，参考哈佛Vaswani等人(2017)的优秀代码指南(http://nlp.seas.harvard.edu/2018/04/03/attention.html)BERT有两种大小

jianafeng·2023-10-22 14:47

flash attention论文及源码学习

论文attention计算公式如下传统实现需要将S和P都存到HBM，需要占用O(N2)O(N^{2})O(N2)内存，计算流程为因此前向HBM访存为O(Nd+N2)O(Nd+N^2)O(Nd+N2)，通常

KIDGINBROOK·2023-10-22 13:43

flash attention 2论文学习

flashattention作者TriDao发布了flashattention2，性能为flashattention的2倍。

KIDGINBROOK·2023-10-22 13:13

Transformer学习路线

4.理解Transformer架构:阅读论文“AttentionisAllYouNe

jio本小子·2023-10-22 13:55

17 Transformer 的解码器（Decoders）——我要生成一个又一个单词

解码器的Self-Attention在编码已经生成的单词假如目标词“我是一个学生”—》maskedSelf-Attention训练阶段：目标词“我是一个学生”是

沧海之巅·2023-10-22 10:02

Multi-Head Attention和Transformer Decoder（GPT）详解

文章目录一、Transformer的Attention1.Self-Attention2.MaskedSelf-Attention3.Multi-HeadAttention二、TransformerDecoder

liuqiker·2023-10-22 09:34

Bargaining Advantage (04 15)

WeAreAllNegotiators我们都是谈判家Allofusnegotiatemanytimesaday.Wenegotiatedaschildrenforthingswewanted:attention

ItsLarissa·2023-10-22 07:50

notes_NLP

RNNLSTMinput+forget+putput；GRUreset+update；参数比LSTM少，计算效率更高；循环神经网络（RNN/LSTM/GRU）人人都能看懂的GRUtransformer>self-attention

子诚之·2023-10-22 04:27

Whisper 整体架构图

Attention注意力机制模块，兼容自注意力和交叉注意力。AttentionBlockTransformer模块，包含一个自注意力，一个交叉注意力（可选）和一个MLP模块。

绝不原创的飞龙·2023-10-22 03:39

50ETF期权——标的分红，新加挂合约如何理解

首先，新的合约单位和行权价格的计算方式如下；Attention:调整后的合约单位，按照四舍五入原则取整数；调整后的行权价格，按照四舍五入的原则取小数，保留3位小数。

小謝说期权·2023-10-22 02:00

14 Positional Encoding （为什么 Self-Attention 需要位置编码）

博客配套视频链接:https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0b站直接看配套github链接：https://github.com/nickchen121/Pre-training-language-model配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.ht

沧海之巅·2023-10-22 01:05

13 Multi-Head Self-Attention（从空间角度解释为什么做多头）

博客配套视频链接:https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0b站直接看配套github链接：https://github.com/nickchen121/Pre-training-language-model配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.ht

沧海之巅·2023-10-22 01:35

Transformer模型 | Transformer模型描述

Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度，充分发掘DN

算法如诗·2023-10-21 07:23

self.layer2 = torch.nn.TransformerEncoderLayer(d_model=LSTM_hidden_size, nhead=Attention_head)这句代码的意.

nhead：TransformerEncoderLayer层的注意力头数量，值为Attention_head。这个TransformerEncoderLayer层是Py

weixin_42601702·2023-10-21 00:07

pytorch 实现Transformer encoder

importtorchfromtorchimportnnimporttorch.nn.functionalasFimportmathclassAttentionHead(nn.Module):def__

风吹草地现牛羊的马·2023-10-21 00:35

nn.TransformerEncoderLayer中的src_mask，src_key_padding_mask解析

attentionmask要搞清楚src_mask和src_key_padding_mask的区别，关键在于搞清楚在self-attention中attent

风吹草地现牛羊的马·2023-10-21 00:01

LSTM-Attention单维时间序列预测研究（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码实现1概述LSTM-Attention是一种结合了LSTM（长短期记忆）和Attention机制的模型，用于时间序列预测。

程序猿鑫·2023-10-20 23:58

分类预测 | MATLAB实现SSA-CNN-LSTM-Attention数据分类预测（SE注意力机制）

分类预测|MATLAB实现SSA-CNN-LSTM-Attention数据分类预测（SE注意力机制）目录分类预测|MATLAB实现SSA-CNN-LSTM-Attention数据分类预测（SE注意力机制

机器学习之心·2023-10-20 17:24

cs224n学习笔记9-问答系统

问答ReadingComprehension阅读理解Stanfordquestionansweringdataset(SQuAD)斯坦福问答数据集神经网络模型BiDAF:theBidirectionalAttentionFlowmodel

TARO_ZERO·2023-10-20 12:20

【论文精读WACV_2023】FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping

Pose-andOcclusion-AwareHighFidelityFaceSwapping一、前言Abstract1.Introduction2.RelatedWork3.Method3.1.NetworkArchitecture3.2.TheAdaptiveFeatureFusionAttention

旋转的油纸伞·2023-10-20 11:21

已解决 Building wheel for flash-attn (setup.py) ... error error: subprocess-exited-with-error ×

安装flash-attention出错出错问题原因可能是因为安装的flash-attention版本为2.x，降低为1.x就可以了

淡定的炮仗·2023-10-20 09:58

PSANet: 场景解析的逐点空间注意力网络_PSANet:Point-wise Spatial Attention Network for Scene Parsing

0.摘要由于卷积滤波器的物理设计限制，我们注意到卷积神经网络中的信息流只在局部邻域内流动，这限制了对复杂场景的整体理解。在本文中，我们提出了逐点空间注意力网络（PSANet）来放宽局部邻域的限制。特征图上的每个位置通过自适应学习的注意力掩码与所有其他位置相连。此外，我们还开启了双向信息传播用于场景解析。其他位置的信息可以帮助当前位置的预测，反之亦然，当前位置的信息可以分布到其他位置来帮助它们的预测

Joney Feng·2023-10-20 05:02

期望最大化注意力网络用于语义分割——Expectation-Maximization Attention Networks for Semantic Segmentation

0.摘要自注意机制已广泛应用于各种任务。它的设计是通过所有位置的特征的加权和来计算每个位置的表示。因此，它可以捕捉计算机视觉任务的长程关系。然而，这种方法在计算上是耗费资源的，因为注意力图是相对于所有其他位置计算的。在本文中，我们将注意机制形式化为期望最大化的方式，并迭代地估计一组更紧凑的基础，基于这些基础计算注意力图。通过对这些基础的加权求和，得到的表示是低秩的，并且将输入中的噪声信息降低。所提

Joney Feng·2023-10-20 05:01

Squeeze-and-Attention Networks for Semantic Segmentation

在本文中，我们提出了一种新颖的squeeze-and-attention网络（SANet）架构，利用一个有效的squeeze-and-attention（SA）模块来考虑分割的两个独特特征：i）像素组注意力

Joney Feng·2023-10-20 04:31

Slide-Transformer: Hierarchical Vision Transformer with Local Self-Attention论文阅读笔记

-cvpr2023-当前attention机制存在的问题：①利用im2col方式计算localattention需要消耗很大的计算资源②windowattention存在固定的设计模式，如窗口应该如何移动

我来了！！！·2023-10-20 04:46

“注我“ - 从社交软件夺回人们自己的注意力

不可能三角：效率=其乐=Keywords:workflow,self-attention,high-efficiency,focus.AI里面的Transformer得益于attention有不错的效果

思考实践·2023-10-20 03:40

多标签分类论文笔记 | Combining Metric Learning and Attention Heads...（MLD-TResNet-L-AAM/GAT+AAM）

个人论文精读笔记，主要是翻译+心得，欢迎旁观，如果有兴趣可以在评论区留言，我们一起探讨。Paper:https://arxiv.org/pdf/2209.06585v2.pdfCode:https://github.com/openvinotoolkit/deep-object-reid/tree/multilabel文章目录0.摘要1.介绍2.相关工作3.方法3.1模型架构3.2Transfor

Thomas_Cai·2023-10-20 02:56

多标签分类论文笔记 | CAUSALITY COMPENSATED ATTENTION FOR CONTEXTUAL BIASED VISUAL RECOGNITION

个人论文精读笔记，主要是翻译+心得，欢迎旁观，如果有兴趣可以在评论区留言，我们一起探讨。Paper:https://openreview.net/pdf?id=8XqDnrmZQNFCode:https://github.com/yu-gi-oh-leilei/IDA_2023ICLR文章目录摘要1介绍3.初步结论:语境偏见中的因果关系4.方法4.1类感知层4.2因果关系的干预4.3采样和重加权层

Thomas_Cai·2023-10-20 02:56

linux上在docker中使用anaconda创建虚拟环境

论文笔记参考：多标签分类论文笔记|CombiningMetricLearningandAttentionHeads…MLD-TResNet-L-AAM/GAT+AAM)1.安装anaco

Thomas_Cai·2023-10-20 02:23

透过机器翻译理解Transformer(四): 打造 Transformer：叠叠乐时间

编者按：年初疫情在家期间开始大量阅读NLP领域的经典论文，在学习《AttentionIsAllYouNeed》时发现了一位现居日本的台湾数据科学家LeeMeng写的Transformer详解博客，理论讲解

博士伦2014·2023-10-20 00:30

关于P6675的题解

一个比较重要的地方是这里：for(inti=1;i>a[i].s;if(a[i].s=="NijeZivotJedanACM"){k=i;for(intj=1;j>s1;continue;}Pleasepayattention

疯子-冥骨决·2023-10-19 21:51

Attention的可解释性及其在网络结构中的应用

每日更新...）编辑:ShuYini校稿:ShuYini时间:2020-06-18引言本文首先讨论了使用注意力的关键神经网络体系结构；接着讨论了在神经网络中加入注意力是如何带来显著的性能提高的，通过Attention

Shu灬下雨天·2023-10-19 21:24

【C语言入门到精通 03】格式化输入/输出

03格式化输入/输出Aprogramminglanguageislowlevelwhenitsprogramsrequireattentiontotheirrelevant.[1]码字不易，对你有帮助点赞

不会编程的程序圆·2023-10-19 19:29

【数字人】6、ER-NeRF | 借助空间分解来实现基于 NeRF 的更高效的数字人生成（ICCV2023）

文章目录一、背景二、方法2.1问题设定2.2Tri-PlaneHashRepresentation2.3RegionAttentionModule2.4训练细节三、效果3.1实验设定3.2定量对比3.3

呆呆的猫·2023-10-18 19:32

（2022|ECCV，文本图像视频，3D 邻域注意，3D 稀疏注意）NÜWA：神经视觉世界创建的视觉合成预训练

：CV_EDPJ或直接进Q交流群：922230617获取资料）目录0.摘要1.简介2.相关工作2.1.视觉自回归模型2.2.视觉稀疏自注意3.方法3.1.3D数据表示3.2.3DNearbySelf-Attention3.3.3D

EDPJ·2023-10-18 17:56

【Paper】PYRAFORMER: low-complexity pyramidal attention

AbstractInpractice,thechallengeistobuildaflexiblebutparsimoniousmodelthatcancaptureawiderangeoftemporaldependencies.parsimonious英/ˌpɑːsɪˈməʊniəs/美/ˌpɑːrsɪˈmoʊniəs/adj.吝啬的;小气的;悭吝的派生词：parsimoniouslyadv.

Dovake·2023-10-18 16:08

超分之RCAN

ImageSuper-ResolutionUsingVeryDeepResidualChannelAttentionNetworks使用非常深的残差通道注意力网络的图像超分辨率In:ECCV.(2018

深度学习炼丹师-CXD·2023-10-18 15:19

SR研究（1）RCAN论文阅读上

SR研究（1）RCAN论文阅读上阅读论文：ImageSuper-ResolutionUsingVeryDeepResidualChannelAttentionNetworksRCAN网络主要的成就为提出了

孑渡·2023-10-18 15:17

Learning Texture Transformer Network for Image Super-Resolution（全译文+大量名词链接）读论文记录①

3.1纹理转换器（TextureTransformer）可学习的纹理提取器（LearnableTextureExtractor）相关性嵌入模块（RelevanceEmbedding）硬注意力（Hard-Attention

商如玉·2023-10-18 15:45

transformer总结超详细代码篇

transformer初版链接attention代码链接attention初版链接引言：本文为transformer代码篇，主要包含具体实现过程以及过程中遇到的具体细节问题以及实现问题，仅供参考，相关原理介绍可以参考上面链接

Lian_Ge_Blog·2023-10-18 15:59

Taleb在2019又说了什么惊人的话？

Attention!Salarypeople:

濃姫·2023-10-18 11:51

使用transformers过程中出现的bug

1.Thefollowingmodel_kwargsarenotusedbythemodel:['encoder_hidden_states','encoder_attention_mask'](note

MK422·2023-10-18 09:47

多维时序 | MATLAB实现SSA-CNN-BiGRU-Attention多变量时间序列预测（SE注意力机制）

多维时序|MATLAB实现SSA-CNN-BiGRU-Attention多变量时间序列预测（SE注意力机制）目录多维时序|MATLAB实现SSA-CNN-BiGRU-Attention多变量时间序列预测

机器学习之心·2023-10-18 06:27

多维时序 | MATLAB实现SSA-CNN-GRU-Attention多变量时间序列预测（SE注意力机制）

多维时序|MATLAB实现SSA-CNN-GRU-Attention多变量时间序列预测（SE注意力机制）目录多维时序|MATLAB实现SSA-CNN-GRU-Attention多变量时间序列预测（SE注意力机制

机器学习之心·2023-10-18 06:24

Causal Attention论文详解

1.背景介绍CausalAttention论文是一篇因果推断(causalinference)和注意力(attention)结合的一篇文章，主要用在视觉和文本结合的领域，如VQA(VisualQuestionAnswering

MLTalks·2023-10-18 02:52

LLM大模型训练加速利器FlashAttention详解

FlashAttention论文地址：https://arxiv.org/pdf/2205.14135.pdf1.背景介绍因为Transformer的自注意力机制(self-attention)的计算的时间复杂度和空间复杂度都与序列长度有关

MLTalks·2023-10-18 02:20

transformer_01

是相邻的两个吗，不一定，所以也不太合理二、重大事件1.2017年attentionisallyourneed出现，RNN退出历史舞台

若雨999·2023-10-18 02:41

Steady me

第二十三天sentence137Agreatdealofattentionisbeingpaidtodaytotheso-calleddigitaldivide—thedivisionoftheworldintotheinfo

不骄不躁艰苦奋斗·2023-10-17 22:43

推荐频道

attention