self-Attention

深度学习：Self-Attention与Multi-heads Attention详解

深度学习：Self-Attention与Multi-headsAttention详解IntroductionSelf-AttentionMulti-HeadAttentionPosition-EncodingIntroductionTransformer
HanZee·2023-02-06 08:58

Pytorch实战笔记(3)——BERT实现情感分析

本文的架构是第一章详细介绍BERT，其中包括Self-attention，Transformer的Encoder，BERT的输入与输出，以及BERT的预训练和微调方式；第二章是核心代码部分。
野指针小李·2023-02-05 15:18

【自然语言处理五】Transformer模型

Transformer模型使用了Self-Attention机制，不采用RNN的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。
moo611·2023-02-05 14:40

论文推荐：ACMix整合self-Attention和Convolution (ACMix)的优点的混合模型

混合模型ACmix将自注意与卷积的整合，同时具有自注意和卷积的优点。这是清华大学、华为和北京人工智能研究院共同发布在2022年CVPR中的论文卷积分解与自注意力卷积分解标准卷积:重写为来自不同内核位置的特征映射的总和:这里的：为了进一步简化公式，使用Shift操作的定义:g(p,q)ij可以改写为:由上得出，标准卷积可以概括为两个阶段:在第一阶段，输入特征从某个位置(p,q)核权重进行线性投影。这
·2023-02-05 11:17

【AI-NLP】Transformer理论及源码理解

文章目录提出背景总体结构EncoderDecoder细节再探源码阅读主函数部分主模型定义编码器编码层多头自注意力层前馈神经网络层Masked解码器解码层参考资料提出背景改进了RNN的训练慢的缺点，利用self-attention
CodeSlogan·2023-02-03 21:33

Separable Self-attention for Mobile Vision Transformers

paper链接:https://arxiv.org/pdf/2206.02680.pdfcode链接:https://github.com/apple/ml-cvnetsSeparableSelf-attentionforMobileVisionTransformers(一)、引言(二)、实现细节(三)、实验(一)、图像分类(二)、语义分割(三)、目标检测(一)、引言移动视觉transformer
小小小~·2023-02-03 13:43

改进YOLOv7系列：当YOLO遇见ACmix结构，自注意力和卷积集成，Self-Attention和Convolution的融合，性能高效涨点

统一使用YOLOv7代码框架，结合不同模块来构建不同的YOLO目标检测模型。本项目包含大量的改进方式,降低改进难度,改进点包含【Backbone特征主干】、【Neck特征融合】、【Head检测头】、【注意力机制】、【IoU损失函数】、【NMS】、【Loss计算方式】、【自注意力机制】、【数据增强部分】、【标签分配策略】、【激活函数】等各个部分。YOLO系列+ACmix结构结合应用为CSDN芒果汁没
芒果汁没有芒果·2023-02-03 07:40

Transformer Net

Transformer优点：是基于self-attetion的，self-attention的确有着cnn和lstm都没有的优势，比如比cnn看得更宽更远，比lstm训练更快；重复累加多层multi-headself-attetion
冷落清秋节·2023-02-03 07:58

Transformer-Bert模型学习笔记

红色圈中的部分为Multi-HeadAttention，是由多个Self-Attention组成的，可以看到Encoderblock包含一个Multi-HeadAttention，而Decoderb
林桉·2023-02-02 20:08

图解cross attention

https://vaclavkosar.com/ml/cross-attention-in-transformer-architecture交叉注意力与自我注意力除了输入，cross-attention计算与self-attention
子燕若水·2023-02-02 16:42

Transformer-Attention is all your need论文详读-PartⅢ(Why Self-Attention、训练、结果、结论)

⭐原文链接：https://arxiv.org/abs/1706.037624.WhySelf-Attention在本节中，我们将自注意层(self-attentionl)的各个方面与循环层(recurrent)和卷积层(convolutional)进行比较，这些层通常用于映射一个可变长度的符号表示序列到另一个等长序列。例如典型序列转换编码器或解码器中的隐藏层。激发我们使用自注意的动机，我们认为有
蛮有趣的_·2023-02-01 17:33

一种超级简单的Self-Attention ——keras 实战

Attention技术在NLP模型中几乎已经成了不可或缺的重要组成部分，最早Attention主要应用在机器翻译中起到了文本对齐的作用，比如下图，Attention矩阵会将法语的LaSyrie和英语的Syrie对齐，Attention机制极大的提升了机器翻译模型的性能。attention文本对齐而最近各种花式的Attention机制相继被提出，同时这些Attention机制也不断的刷新着各种NLP
王同学死磕技术·2023-02-01 09:33

【论文IJCAI】Attention as Relation:Learning Supervised Multi-head Self-Attention for Relation Extration

论文链接：https://www.ijcai.org/Proceedings/2020/0524.pdf论文源码：https://github.com/NKU-IIPLab/SMHSA  这是IJCAI2020的联合实体关系抽取论文，也是主要针对实体重叠的三元组识别问题。这篇文章把任务分成3个部分分别处理各自问题进行抽取得到较好结果。Abstract  联合实体和关系提取是许多自然语言处理任务的关
Irving_III·2023-02-01 08:38

自注意力机制

视频链接：第四节2021-自注意力机制(Self-attention)(上)_哔哩哔哩_bilibili大多数任务的输入是一个向量，输出是一个标量或者类别。
捂好小马甲·2023-01-31 20:54

【李宏毅2021机器学习深度学习——作业4 Self-Attention】Speaker classification 记录（双过strong baseline）（待改进）

文章目录实验记录（双过strongbaseline）代码理解样例代码ConformerBlock参数设置（照抄）实验bug修改安装comformer库遇到Nomodulenamed问题（jupyterlab使用的环境是python3.7，下载的是envs/python38）改进空间（待改进）参考资料实验记录（双过strongbaseline）增大d_model=512+conformer只修改ba
I"ll carry you·2023-01-31 18:54

李宏毅机器学习2022春季-第四课和HW4

第四课主要内容是自注意力机制(self-attention)，是目前自然语音处理、语音处理，甚至是图像处理中使用非常多的网络架构，详细内容见课程视频。
机器学习手艺人·2023-01-31 18:20

transformer ViT DERT

Transformer中有两种注意力机制，self-attention和cross-attention。主要区别是q
bigliu666·2023-01-31 15:42

Transformer中self-attention实现

"""tf版的多头注意力实现仅用来理解下Transformer的实现，不实际生产使用下面代码"""importtensorflowastfdefscaled_dot_product_attention(q,k,v):"""缩放点积注意力"""#QK点积matmul_qk=tf.matmul(q,k,transpose_b=True)#缩放dk=tf.cast(tf.shape(k)[-1],tf.
&永恒的星河&·2023-01-31 11:16

论文阅读笔记：《Point Transformer》-- Hengshuang Zhao等

Transformer：self-attention是transformer的核心，发源于NLP领域，已经在NLP、CV领域等大放异彩，其本质就是一个集合操
sijieLee·2023-01-29 17:53

2021-03-16（Original GAT和Dot-product，哪种注意力机制更适合图？）

OriginalGAT（GO）虽然借鉴了transformer的思想，但是其注意力交互方式并不是transformer里Dot-product(DP)为基础的self-attention，作为两种最常用的注意力机制
thelong的学习日记·2023-01-28 22:19

各种Sequence Self-Attention变形 (加速矩阵运算 且保证全局特征)

人工设计Self-attention的N*N矩阵1.LocalAttention/TruncatedAttention2.StrideAttention3.GlobalAttention人工设计SelfAttention
芝士不知世_·2023-01-28 13:20

Transformer中，MHSA(multi-head self-attention)中为什么要分多个Head？

结论：模型的表达学习能力增强了输入到MHSA中的数据的shape应该为B×L×Embedding，B是Batch，L是序列长度而在MHSA中，数据的shape会被拆分为多个Head，所以shape会进一步变为：B×L×Head×Little_Embedding以Transformer为例，原始论文中Embedding为512，Head数为8，所以shape在进入MHSA中时，会变为：B×L×8×6
Yunpeng1119·2023-01-28 09:38

Transformer的position embedding

transformer模型的self-attention层并没有包含位置信息，即一句话中词语在不同的位置时在transformer中是没有区别的。
sherly_大狸子·2023-01-28 09:16

从Encoder-Decoder到Attention

参考大白话浅谈注意力机制64注意力机制【动手学深度学习v2】Attention机制详解（二）——Self-Attention与TransformerEncoder-Decoder架构文本处理和语音识别的
HDU-Dade·2023-01-28 08:29

Transformer进阶分解之Encoder-Decoder、Self-Attention

AttentionModel2.1Attention注意力机制简介（一）Attention2.1.1Attention原理2.1.2Attention机制的本质思想2.1.3Attention优缺点（二）Self-attention
Wabi―sabi·2023-01-28 08:29

强化学习笔记：self-attention + multi-agent RL（中心化训练）

0前言多智能体系统中有m个智能体，每个智能体有自己的观测()和动作。我们考虑非合作关系的multi-agentRL。如果做中心化训练，需要用到m个状态价值网络或m个动作价值网络由于是非合作关系，m个价值网络有各自的参数，而且它们的输出各不相同。我们首先以状态价值网络v为例讲解神经网络的结构。1不使用自注意力的状态价值网络每个价值网络是一个独立的神经网络，有自己的参数。底层提取特征的卷积网络可以在m
UQI-LIUWJ·2023-01-28 07:44

cnn stride and padding_Transformer/CNN/RNN的对比（时间复杂度，序列操作数，最大路径长度）...

每层的时间复杂度minimumnumberofsequentialoperations：最少需要的序列操作数计算效率一个形状为的矩阵，与另一个形状为的矩阵相乘，其运算复杂度来源于乘法操作的次数，时间复杂度为Self-Attention
weixin_39576104·2023-01-26 22:44

Transformer中self-attention、RNN、CNN的性能对比

论文原文Attentionisallyouneed:https://arxiv.org/pdf/1706.03762.pdf输入序列(x1,x2,...,xn)(x_1,x_2,...,x_n)(x1,x2,...,xn)输出序列(z1,z2,...,zn)(z_1,z_2,...,z_n)(z1,z2,...,zn)xi,zi∈Rdx_i,z_i\inR^dxi,zi∈Rdn：序列长度d：表征维
Yolo_C·2023-01-26 22:09

self-attention RNN CNN时间复杂度

的矩阵Q和d×n的矩阵KT相乘的时间复杂度为O(n^2d)n×n的矩阵softamx(Q*KT)和n×d的矩阵V相乘的时间复杂度为O(n^2d)而softmax(n×n)的时间复杂度为O(n^2)所以self-attention
momo+cc·2023-01-26 22:38

学习 Visual Transformer

Transformer模型（速度快）使用了Self-Attention机制，不采用RNN顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。
Superhi·2023-01-26 02:54

scale_dot_product_attention and multi_head_attention tf2.x

encoder中的attention叫做self-attention，此时QKV分别为这个模块的输入（第一层为词嵌入，第二层及以后为上一次层的输出）分别乘上三个矩阵得到的结果分别为QKV，这三个矩阵是在训练的时候学习
github_元宝·2023-01-25 22:01

深度学习的Attention机制，看这一篇文章就够了

Attention机制的由来与发展看NLP方向的论文，几乎每篇都能看到self-attention、transformer、bert的出现，如果直接去学习这几个模型的话，很容易迷失在各种矩阵操作中，心里会一直有个疑问
小浩弟·2023-01-24 17:18

机器学习(四) 卷积神经网络

文章目录一、卷积神经网络（CNN）1.1ImageClassification1.1.1CNN的第一种解释1.1.2CNN的第二种解释1.1.3两种方法的比较1.2池化层（pooling）二、self-attention
八岁爱玩耍·2023-01-23 11:37

A Time Delay Neural Network with Shared Weight Self-Attention for Small-Footprint Keyword Spotting浅析

文章：ATimeDelayNeuralNetworkwithSharedWeightSelf-AttentionforSmall-FootprintKeywordSpotting中心思想：通过共享自注意力机制的权重，在维持性能不变的情况下，减少模型参数本文的创新点：一是，用前馈神经网络代替在注意力机制中常用的回归神经网络，加速模型计算；二是，自注意力机制中的三个矩阵进行参数共享，减少模型参数文章中
guocehnxi·2023-01-23 08:21

自注意力（Self-Attention）机制浅析

一、自注意力机制概述循环神经网络由于信息传递的容量以及梯度消失问题，实际上也只能建立短距离依赖关系。为了建立长距离的依赖关系，可以增加网络的层数或者使用全连接网络。但是全连接网络无法处理变长的输入序列，另外，不同的输入长度，其连接权重的大小也是不同的。这时，提出了自注意力模型，可以“动态”地生成不同连接的权重。自注意力模型的结构：输入n个，输出也是n个，但是会考虑整个sequence（有conte
dx1313113·2023-01-23 08:45

【转载】Transformer 模型详解

Transformer模型使用了Self-Attention机制，不采用RNN的顺序结构，使得模型可以并行化训练，而且能
yepeng2007fei·2023-01-21 09:34

NLP中Transformer模型详解

先从self-attention说起：机器翻译，语音辨识我们先说第一种情况：一对一的情况一个很大的window（比如cover整个sequence）会导致参数过多，同时也会过拟合我们现在需要找出一个sequence
滴滴-学生卡·2023-01-21 08:23

Transformer+self-attention超详解（亦个人心得）

来自东北电力大学，机器人工程专业本文仅作学术分享，著作权归属作者，侵删最近刚开始阅读transformer文献感觉有一些晦涩，尤其是关于其中Q、K、V的理解，故在这里记录自己的阅读心得，供于分享交流一、self-attention
人工智能与算法学习·2023-01-21 01:23

Attention、self-attention：从计算、公式的角度详解

参考：这个视频量短而精https://www.youtube.com/watch?v=XhWdv7ghmQQGitHub-wangshusen/DeepLearning以机器翻译、rnn-seq2se2引入attention为例1.attention最早提出attention的是15年的这篇论文在encoder结束之后，output一个全局的s0,这包含了h1...hm的所有信息，同时s0也作为d
ZcsLv_zyq·2023-01-21 01:51

零基础入门NLP-Task6 基于深度学习的文本分类3

在对输入序列做词的向量化之后，它们首先流过一个self-attention层，该层帮助编码器在它编码单词的时候能够看到输入序列中的其他单词。
布丁咩咩·2023-01-19 09:21

计算机视觉CV的进阶路

一些博客（尤其是国外）写的非常用心~在这里码一下：最近接触到深度学习的模型看了一些文章下面链接的顺序由浅入深self-attention宝藏博客动画非常清楚https://towardsdatascience.com
weixin_47474778·2023-01-18 17:32

2021李宏毅机器学习之Self-attention进阶版本multi-head Self-attention

Multi-headSelf-attention Self-attention有一个进阶的版本,叫做Multi-headSelf-attention,Multi-headSelf-attention,其实今天的使用是非常地广泛的
a little cabbage·2023-01-18 01:07

Shunted Self-Attention via Multi-Scale Token Aggregation

文章链接：https://arxiv.org/pdf/2111.15193.pdf代码：https://github.com/OliverRensu/Shunted-Transformer最近的VisionTransformer(ViT)模型在各种计算机视觉任务中表现优异，这得益于它能够通过自注意对图像块或标记的长期依赖进行建模。然而，这些模型通常在每一层中每个token特征指定指定的感受野。这种
小小小~·2023-01-18 01:05

Multi-head Self-attention & 应用到图片

Multi-headSelf-attention背景：Self-attention有一个进阶的版本,叫做Multi-headSelf-attention。
贩卖阳光的杨同学·2023-01-18 01:04

Multi-head Self-attention（多头注意力机制）

Self-attention有一个进阶的版本,叫做Multi-headSelf-attention,Multi-headSelf-attention,其实今天的使用是非常地广泛的。
Jc随便学学·2023-01-18 01:01

Multi-head Self-attention

首先为什么需要多种注意力？之前我们都是用Q去找K，来计算相关性。但是两个事物之间相关性本身可能有多种不同的类型。因此设置多个Q(head),不同的Q来负责不同的相关性。使用同样的方法得到,,,在计算的时候和之前一样，注意只和同一种类型的QKV计算比如,，,，中bi1=softmax(*)*bi2=softmax(*)*最后把bi1和bi2接起来，再乘上一个矩阵得出bi，然后送到下一层去注意：目前为
BEINTHEMEMENT·2023-01-18 01:30

Self-Attention 及Multi-Head Attention

在这篇文章中作者提出了Self-Attention的概念，然后在此基础上提出Multi-HeadAttention。self-attent
一个小腊鸡·2023-01-18 01:58

transformer算法解析

科技大本营的博客-CSDN博客Transformer学习笔记一：PositionalEncoding（位置编码）-知乎1、Transformer概述Transformer抛弃了CNN和RNN，整个网络结构完全由self-Attention
benben044·2023-01-17 15:16

Transformer论文解读一（Transformer）

自我注意(Self-attention)，有时也称为内部注意(intra-attention)，是一种将单个序列的不同位置联系起来，以计算该序列的表示的注意机制。T
蓝鲸鱼BlueWhale·2023-01-17 10:58

最详细的Transformer讲解，Attention Is All You Need

但现有的博客，感觉大多轻飘飘的，甚至没讲清楚attention和self-attention的区别，q，k
低吟浅笑·2023-01-17 10:28
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他