self-Attention

深度学习中Transformer的简单理解

每一层Encoder编码器都由很多层构成的，编码器内又是self-attention和前馈网络构成的。Self-attention是用来做加权平均，前馈网络用来组合。
Jackie_Yongzhi Huang·2023-10-29 19:11

超超超超超简单！从结果推导RoPE旋转位置编码

位置编码介绍与绝对位置编码我们知道，主流大语言模型使用的自注意力机制(self-attention)技术中，缺少位置的信息。
inannanxx·2023-10-28 13:54

《动手学深度学习 Pytorch版》 10.6 自注意力和位置编码

由于查询、键和值来自同一组输入，因此被称为自注意力（self-attention），也被称为内部注意力（intra-attention）。
AncilunKiang·2023-10-27 14:58

一文搞定自注意力机制（Self-Attention）

自注意力机制（Self-Attention）作为注意力机制中的一种，也被称为intraAttention（内部Attention），是大名鼎鼎的Transformer重要组成部分，今天张张将详细介绍自注意力机制
markconca的博客·2023-10-26 14:01

浅谈Transformer

目录Transformer模型回顾简述Transformer的输入单词Embedding位置EmbeddingSelf-Attention结构Q，K，V的计算Self-Attention的输出Multi-HeadAttentionEncoder
43v3rY0unG·2023-10-26 08:01

Vision Transformer 入门到继续入门2022

-知乎关于Transformer的那些个为什么-知乎最近两年借助self-attention的Transformer一下火了，不看不行。问题1:TransForms是什么？相对于传统RNN
为什么先生2012·2023-10-26 00:54

多头注意力（Multi-Head Attention）和交叉注意力（Cross-Attention）是两种常用的注意力机制的原理及区别

多头注意力机制多头注意力(Multi-HeadAttention)是一种基于自注意力机制(self-attention)的改进方法。
ywfwyht·2023-10-24 23:56

CVPR 2021 | Involution：超越 Convolution 和 Self-attention 的神经网络新算子

本文是对我们CVPR2021被接收的文章Involution:InvertingtheInherenceofConvolutionforVisualRecognition的解读，同时也分享一些我们对网络结构设计（CNN和Transformer）的理解。这篇工作主要是我和SENet的作者胡杰一起完成的，也非常感谢HKUST的两位导师陈启峰和张潼老师的讨论。作者：青源研究组成员李铎论文地址：arxiv
智源社区·2023-10-24 17:16

CV全新范式！LSTM在CV领域杀出一条血路！Sequencer：超越Swin、ConvNeXt等网络

DeepLSTMforImageClassification论文：https://arxiv.org/abs/2205.01972在最近的计算机视觉研究中，ViT的出现迅速改变了各种架构设计工作:ViT利用自然语言处理中的Self-Attention
Amusi（CVer）·2023-10-23 13:46

基于self-attention的LSTM时间序列预测Python程序

基于self-attention的LSTM时间序列预测Python程序特色：1、单变量，多变量输入，自由切换2、单步预测，多步预测，自动切换3、基于Pytorch架构4、多个评估指标（MAE,MSE,R2
黑科技小土豆·2023-10-23 11:27

11 Self-Attention相比较 RNN和LSTM的优缺点

博客配套视频链接:https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0b站直接看配套github链接：https://github.com/nickchen121/Pre-training-language-model配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.ht
沧海之巅·2023-10-23 11:26

transformer和self-attention的关系

Transformer是一种深度学习模型架构，而self-attention（自注意力机制）是Transformer模型中的一个核心组件。
Chen_Chance·2023-10-22 19:04

Self-Attention和CNN和RNN的区别

Self-Attention、CNN（卷积神经网络）和RNN（循环神经网络）是深度学习中不同的神经网络层或机制，它们在处理数据和建模依赖关系时具有不同的特点。
Chen_Chance·2023-10-22 19:01

自然语言处理---Transformer机制详解之Decoder详解

1Decoder端的输入解析1.1Decoder端的架构Transformer原始论文中的Decoder模块是由N=6个相同的DecoderBlock堆叠而成，其中每一个Block是由3个子模块构成，分别是多头self-attention
lichunericli·2023-10-22 19:49

transformer理解

self-attention首先利用自身embeddingq，所有embeddingk乘积得到的是自身embedd
yyfhq·2023-10-22 14:25

17 Transformer 的解码器（Decoders）——我要生成一个又一个单词

解码器的Self-Attention在编码已经生成的单词假如目标词“我是一个学生”—》maskedSelf-Attention训练阶段：目标词“我是一个学生”是
沧海之巅·2023-10-22 10:02

notes_NLP

RNNLSTMinput+forget+putput；GRUreset+update；参数比LSTM少，计算效率更高；循环神经网络（RNN/LSTM/GRU）人人都能看懂的GRUtransformer>self-attention
子诚之·2023-10-22 04:27

14 Positional Encoding （为什么 Self-Attention 需要位置编码）

博客配套视频链接:https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0b站直接看配套github链接：https://github.com/nickchen121/Pre-training-language-model配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.ht
沧海之巅·2023-10-22 01:05

13 Multi-Head Self-Attention（从空间角度解释为什么做多头）

博客配套视频链接:https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0b站直接看配套github链接：https://github.com/nickchen121/Pre-training-language-model配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.ht
沧海之巅·2023-10-22 01:35

Transformer模型 | Transformer模型描述

Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度，充分发掘DN
算法如诗·2023-10-21 07:23

nn.TransformerEncoderLayer中的src_mask，src_key_padding_mask解析

attentionmask要搞清楚src_mask和src_key_padding_mask的区别，关键在于搞清楚在self-attention中attent
风吹草地现牛羊的马·2023-10-21 00:01

Slide-Transformer: Hierarchical Vision Transformer with Local Self-Attention论文阅读笔记

-cvpr2023-当前attention机制存在的问题：①利用im2col方式计算localattention需要消耗很大的计算资源②windowattention存在固定的设计模式，如窗口应该如何移动，引入人工干涉。-Method-.ShiftasDepthwiseConvolution作者首先从新的角度上剖析了im2col的原理，并用深度卷积重新实现localattention机制。①im2
我来了！！！·2023-10-20 04:46

“注我“ - 从社交软件夺回人们自己的注意力

不可能三角：效率=其乐=Keywords:workflow,self-attention,high-efficiency,focus.AI里面的Transformer得益于attention有不错的效果
思考实践·2023-10-20 03:40

LLM大模型训练加速利器FlashAttention详解

FlashAttention论文地址：https://arxiv.org/pdf/2205.14135.pdf1.背景介绍因为Transformer的自注意力机制(self-attention)的计算的时间复杂度和空间复杂度都与序列长度有关
MLTalks·2023-10-18 02:20

阿里 - 淘宝 - 精排模型发展趋势

一、DIN网络2018年7月19日，提出attention结构用在用户序列特征上，这种attention不是self-attention，而是预估item用来当做query，用户序列中的每个item作为
learner_ctr·2023-10-17 20:04

视频理解学习笔记（四）

视频理解学习笔记（四）3DCNNC3DI3DNon-local算子（Self-attention替换掉LSTM）R(2+1)DSlowFastVideoTransformerTimeSformer总结Reference3DCNN
不废江河954·2023-10-17 11:03

Transformer 系列 Interpret Vision Transformers as ConvNets with Dynamic Convolutions 论文阅读笔记

InterpretVisionTransformersasConvNetswithDynamicConvolutions论文阅读笔记一、Abstract二、引言三、相关工作VisionTransformers动态卷积Transformer和CNN的联系四、统一的视角4.1基础：自注意力4.2将Self-Attention
乄洛尘·2023-10-13 09:58

阅读《QAnet》QANET: COMBINING LOCAL CONVOLUTION WITH GLOBAL SELF-ATTENTION FOR READING COMPREHENSION Ad

因此，提出的QANet模型，无需循环网络，其encoder=卷积+self-attention，提升了训练速度(3x->13x)和推理速度(4x->9x)。进而，可以训练更多数据。
qq_48566899·2023-10-11 22:59

论文阅读2：《LayoutTransformer: Layout Generation and Completion with Self-attention》主题：Layout Generation..

  Background  这篇文章想解决的问题是复杂场景的布局生成  1.复杂场景可以理解为由较小的“原子”构成，生成一个好的布局需要对这些原子之间的关系有非常好的理解。  2.引言中提到了认知科学的概念，对于一个场景有“感知”和“理解”，感知是浅层的，理解是深层的，比如天空在地的上方，马不会骑车。在合成场景中，有两个关键因素即layout和appearance，只有这两个因素都好生成的场景才好
思念殇千寻·2023-10-10 21:59

基于self-attention的GRU时间序列预测Python程序

基于self-attention的GRU时间序列预测Python程序特色：1、单变量，多变量输入，自由切换2、单步预测，多步预测，自动切换3、基于Pytorch架构4、多个评估指标（MAE,MSE,R2
黑科技小土豆·2023-10-10 20:51

NLP：Attention和self-attention的区别

Self-attention：它帮助模型捕获输入序列内部的关系，无论这些关系的距离有多远。计算：Attention：权重是基于当前的输出（或解码器状态）和所有的输入（或编码器状态）来计算的。
坠金·2023-10-07 16:51

ChatGLM2-6B的通透解析：从FlashAttention、Multi-Query Attention到GLM2的微调、源码解读

Multi-QueryAttention第二部分FlashAttention：减少内存访问提升计算速度——更长上下文的关键2.1FlashAttention相关的背景知识2.1.1Transformer计算复杂度：编辑——Self-Attention
v_JULY_v·2023-10-07 03:04

大佬博客记录

Transformer系列博客记录全Transformer拆解，包含Seq2Seq,attention,self-attention,multi-headedattention,PositionalEncoding
BoringFantasy·2023-10-06 15:56

Transformer学习-self-attention

这里写自定义目录标题Self-attentionMulti-headself-attention用self-attention解决其他问题Self-attention用Wq、Wk、Wv分别乘输入向量得到
王小燊oom·2023-10-03 18:19

关于Attention、Self-Attention机制的理解

结合李宏毅老师机器学习2021——Self-Attention课程和网上查阅的资料，总结一下对Attention机制的理解Attention机制就是权重分布Attention机制的核心就是，决定整段输入的哪个部分需要更加关注
gailj·2023-09-30 01:14

self-attention、transformer、bert理解

self-attention考虑输入之间的关系，关于a1的输出b1的计算方法如上图所示，如此类推计算b2，b
ruyingcai666666·2023-09-30 01:14

transformer架构中 encoder decoder self-attention cross-attention的作用

Self-Attention（自注意力）和Cross-Attention（交叉注意力）是Transformer中的关键组件，用于实现序列建模和特征提取。
木禾DING·2023-09-29 19:17

self-attention和cross-attention

为什么Self-Attention要通过线性变换计算QKV，背后的原理或直观解释是什么？-知乎回答题主问题题主的问题:在attention中都经过一个映射，那么建模的相似度是否就没有意义了？
Kun Li·2023-09-27 21:24

论文笔记：SAITS: SELF-ATTENTION-BASED IMPUTATION FOR TIMESERIES

对time-series使用self-attention来进行补全1introduction传统的处理缺失数据的方式一般有两个分类直接删去只有部分观测值的样本使用数据补全，将合适的数据填入直接删去的不足直接删去会导致偏差
UQI-LIUWJ·2023-09-27 21:53

【Transformer系列】深入浅出理解Attention和Self-Attention机制

一、参考资料论文：AttentionIsAllYouNeed课件：10_Transformer_1.pdf视频：Transformer模型(1/2):剥离RNN，保留Attention二、AttentionwithoutRNNAttention模型可以看到全局的信息。本章节以Seq2Seq（(encoder+decoder)）模型为例，介绍Attention机制。0.Attention直观理解1.
花花少年·2023-09-27 21:22

Cross Attention和 Self- Attention 的区别？

CrossAttention和Self-Attention都是深度学习中常用的注意力机制，用于处理序列数据，其中Self-Attention用于计算输入序列中每个元素之间的关系，CrossAttention
不当菜鸡的程序媛·2023-09-27 21:50

论文笔记：ViTGAN: Training GANs with Vision Transformers

20211intro论文研究的问题是：ViT是否可以在不使用卷积或池化的情况下完成图像生成任务即不用CNN，而使用ViT来完成图像生成任务将ViT架构集成到GAN中，发现现有的GAN正则化方法与self-attention
UQI-LIUWJ·2023-09-26 20:16

LLM-TAP随笔——大语言模型基础【深度学习】【PyTorch】【LLM】

文章目录2.大语言模型基础2.1、编码器和解码器架构2.2、注意力机制2.2.1、注意力机制（`Attention`）2.2.2、自注意力机制（`Self-attention`）2.2.3、多头自注意力
来杯Sherry·2023-09-26 03:03

自注意力机制

回顾以下注意力机制：自注意力机制Self-Attention的关键点在于K≈\approx≈V≈\approx≈Q来源于同一个X，三者是同源的，通过WQW_QWQ,WKW_KWK,WVW_VWV做了一层线性变换
失业·2023-09-26 00:24

【李宏毅 | 深度学习】自注意力机制（Self-attention）

这里写目录标题引言SequenceLabelingSelf-attention矩阵乘法Muti-headSelf-attention（多头注意力机制）引言以往我们遇到的深度学习问题中，对于神经网络的输入一般都是一个向量，输出可能是一个类别。如果增加输入的复杂度，例如输入的是多个向量，或者每次输入的向量的个数是会改变的。例如，在文字处理中，如果把一句话中的每一个单词作为一个向量，那么一个输入就会有多
Luo_LA·2023-09-22 22:52

通俗理解自注意力(self-attention)

谷歌在2017年发表了一篇论文《AttentionIsAllYouNeed》，论文中提出了transformer模型，其核心就是self-attention的架构，这一突破性成果不仅洗遍了NLP的任务，
Black先森·2023-09-22 12:27

Transformer 编码器层的前向传播过程

该函数描述了Transformer编码器层的前向传播过程，包括自注意力（self-attention）和前馈神经网络（feedforwardnetwork）的处理步骤，以及层归一化的应用。
不当菜鸡的程序媛·2023-09-20 13:18

Transformer

什么是TransformerTransformer是基于Self-attention注意力机制的一种网络结构，同时其网络结构也沿用了seq2seq的主体结构，由Encoder-Decoder流程组成，包含了
大鱼奔大江·2023-09-20 02:27

2020机器学习 Transform 模型(2)

多头自注意力机制(Multi-headSelf-attention)接下来我们和之前一样来做self-attention，不同的地方是这一次只是对应位置上来self-attention。
zidea·2023-09-20 02:49

论文解读 | Transformer 原理深入浅出

Transformer是第一个完全依赖于Self-Attention来计算其输入和输出表示的模型，而不使用序列对齐的RNN或CNN。更准确的讲，Transformer由且仅由se
随时学丫·2023-09-19 23:41
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他