selfattention输入：一组向量，且长度可以不固定。比如NLP：一个句子由一些词组成，每

Decoder整体结构详解图出自知乎文章：Transformer之Decoder的QKV来源图画的很清晰，Decoder分为两个部分，SelfAttention和EncoderAttention：SelfAttention

importtorchfromtorchimportnnclassSelfAttention(nn.Module):"""selfattentionmodule"""def__init__(self,in_dim):super(SelfAttention

之前有写过attention和transformer的理解，但是对于selfattention中的qkv一直理解的不够透彻，直到今天看了李宏毅的视频才理解，所以记录一下。

同时，在本文的模型框架中，在早期的时候，在模态内部做selfattention；在中后期的时候，在

李宏毅机器学习2021学习笔记（2）：SelfAttention1.特点  传统机器学习深度学习任务一般为分类或者回归（输入为一个向量，输出为一个结果），而SelfAttention有更复杂的输入输出，

Transformer基于encoder-decoder结构实现特征提取直观认识Encoder1PositionalEncoding2SelfAttentionMechanism2.1SelfAttention2.2Multi-headself-attention3

1、selfattention及multi-headself-attention（1）基础图解Multi-headedSelf-attention（多头自注意力）机制介绍-知乎图解超级清楚~每一步都有明确说明

写在前面整体框架selfAttention✨✨✨执行步骤step1：获取qi、ki、viq^i、k^i、v^iqi、ki、vistep2：

前一阵打算写这方面的文章，不过发现一个问题，就是如果要介绍Transformer，则必须先介绍SelfAttention，亦必须介绍下Attention，以及Encoder-Decoder框架，以及GRU

Transformer模型详解这篇对transformer的selfattention子层的机制有详细的图文并茂的解释，并且附上了作者对关键概念的诠释，非常启发性。但是整体和其他方面一笔带过。

模型维度变化：输入onehot-到-embedding768维===》输入成转512维经过selfattention再输出768维===》输入768维经过FFN输出768维参考：https://github.com

主要聚焦目前处于NLP舞台中央的Transformer/BERT/后BERT和SelfAttention。筛选的问题会深入到上述算法/模型更细节的地方，而尽量避免大而泛的问题。

其中SelfAttention机制介绍的论文中AllAttentionisyourneed是经典。基于此，transformer和bert等模型被发明，在众多NLP任务中取得了SOTA成绩。

从Transformer到VIT再到MAE引言Transfomer提出的背景模型架构具体细节Add&NormAttention：Multi-HeadAttention自注意力机制（selfattention

加入极市专业CV交流群，与10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流！同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注极市平台公众号，回复加群，立刻申请入群~来源｜AI算法修炼营什么是视觉中的注意力机制？计算机视觉(computervision)中的注意力机制(attention)的基本思想就是想让系统学会注意力——能够忽

有效的解决方法就是控制模型容量并提高其可扩展性，如Twins、LocalViT、SwinTransformer等，通常重新引入层次结构以弥补非局部性的损失，比如SwinTransformer在移位的非重叠窗口上selfattention

TransformerTransformer系列网络（二）：CV-Model【6】：VisionTransformerTransformer系列网络（三）：CV-Model【7】：SwinTransformer文章目录系列文章目录前言1.SelfAttention1.1

其实是三个矩阵，矩阵如果表示为LxD，L是句子中词的个数，D是嵌入维度，在自注意力机制里，QKV是表示同一个句子的矩阵，否则KV一般是来自一个句子，而Q来自其他句子如何计算QKV我们直接用torch实现一个SelfAttention

selfattention的计算量是二阶的，用axial-attention可以较少计算量，计算效率高一些axial-attention做法就是先在竖直方向进行self-attention，然后再在水平方向进行

上一篇：05Classification-学习笔记-李宏毅深度学习2021年度下一篇：07SelfAttention-学习笔记-李宏毅深度学习2021年度本节内容及相关链接CNN的相关概念视频链接PPT

前一阵打算写这方面的文章，不过发现一个问题，就是如果要介绍Transformer，则必须先介绍SelfAttention，亦必须介绍下Attention，以及Encoder-Decoder框架，以及GRU

计算机视觉算法岗面试题目和复习知识点汇总1、讲一下BN、LN、IN、GN这几种归一化方法2、为什么Transformer需要进行Multi-headAttention3、讲一下selfattention

：《GMFlow:LearningOpticalFlowviaGlobalMatching》基于全局匹配的光流估计算法可视化1.前言gmflow是一种基于全局匹配的光流估计方法，在全局匹配之前，会采用selfattention

selfattention:标度点积classScaledDotProductAttention(nn.Module):def__init__(self):super(ScaledDotProductAttention

注意力机制的来龙去脉注意力机制的现实背景注意力机制的本质非参数的注意力池化层参数化的注意力机制注意力分数设计-attentionscorefunction设计1：query和key加权-加权注意力设计2：点乘注意力总结自注意力机制-selfattention

目录1.Attention1.1SelfAttention1.2OffsetAttention2.SamplingandGrouping2.1KNN2.2FPS2.3Encoder3.PCT3.1PCT3.2PCT2Cls3.3PCT2Seg4

SelfAttention详解前言注意力机制（Attention），之前也是一直有所听闻的，也能够大概理解Attention的本质就是加权，对于Google的论文《Attentionisallyouneed

文章目录一、attention1.1循环神经网络的不足：1.2attention在机器翻译的优点1.3selfAttention和循环神经网络对比1.4为什么求内积之后除以d\sqrt{d}d1.5slef-attention

计算机视觉中的注意力机制前言selfattention空间域注意力（spatialtransformernetwork,STN）通道注意力（ChannelAttention,CA）SE-NetECA-NetNon-Local

深度学习经典模型总结卷积神经网络介绍下转置卷积循环神经网络介绍下RNN介绍下LSTM一个LSTMcell的时间复杂度是多少介绍下GRURNN和LSTM的区别注意力模型介绍下Attention介绍下Selfattention

1.Transformer中解码器；1.1Transformer中编码器与解码器的区别Transformer中编码器与解码器的区别，如图所示：第一级中：将selfattention模块改成了maskedself-attention

各种注意力机制实现代码下载：下载地址目录1.ExternalAttention2.SelfAttention3.Squeeze-and-Excitation(SE)Attention4.SelectiveKernel

文章目录一、attention1.1循环神经网络的不足：1.2attention在机器翻译的优点1.3selfAttention和循环神经网络对比1.4为什么求内积之后除以d\sqrt{d}d1.5slef-attention

ICLR·ASTRUCTUREDSELF-ATTENTIVESENTENCEEMBEDDING·想法来源：监督任务+self-attention的方法，价值：把Self-att扩展了一下，变成了矩阵方法：Selfattention

本文为李宏毅老师机器学习2021的selfattention一节的学习笔记，接在CNN之后。学习本节之前，需要有一定的基础知识。

都是由6个IdenticalLayer子层stack而成，Encoder和Decoder中IdenticalLayer的构成分别为：EncoderIdenticalLayer：MHAsubLayer（SelfAttention

使用keras搭建bilstm+selfattention的模型，进行多文本分类发现出现ValueError的错误，但检查发现denseclassify层的输入根据summary结果就是3dim的，希

Attention机制学习笔记在这里主要介绍三种attention机制：hardattention、softattention和selfattention。

由于测试时不知道标签信息，所以用SelfAttention方法通过学习逐像素的相似度图估计ob

Auto-encoding模型,两种模型的对比解释见https://blog.csdn.net/qq_33876194/article/details/989433832.XLNET不同于BERT中的selfAttention

横轴变纵轴嘛，123147456转一下变成258789369但是对于深度学习来说，尤其在transformer以及后来的bert模型出世以后，需要对多个大批次的多个部分的二维数据进行转置，已进行打分机制的计算（SelfAttention

动手写SelfAttetion和transformerEncoder模型实现电影情感分类通过代码学习，加深对SelfAttention和Transformer模型实现理解数据预处理分析，掌握torchtext

selfattention：这是新引入的“单位”，用于计算句子中单词之间的相似性得分。位置嵌入：引入了另一种替代复发的创新。这个想法是使用固定或学习的权重，该权重对与句子中标记的特定位

arxiv.org/abs/1906.05909代码：https://github.com/leaderj1001/Stand-Alone-Self-Attention启示1.提出了一种代替空间卷积的操作——selfattention

SelfAttentionSelfAttention也经常被称为intraAttention（内部Attention），最近一年也获得了比较广泛的使用，比如Google最新的机器翻译模型内部大量采用了SelfAttention

1.模型SelfAttention是O(n2)O(n^2)O(n2)的，那是因为它要对序列中的任意两个向量都要计算相关度，得到一个n2n^2n2大小的相关度矩阵：左边显示了注意力矩阵，右变显示了关联性，

机器学习中的自注意力（SelfAttention）机制详解2020/6/18更新：之前写的有点误人子弟，只看了几个代码就把特殊当一般了，还是推荐阅读复旦大学邱锡鹏老师的《神经网络与机器学习》一书中关于注意力机制的解释

selfattention是提出Transformer的论文《Attentionisallyouneed》中提出的一种新的注意力机制，这篇博文仅聚焦于selfattention，不谈transformer

word2vecRNNLSTMGRUAttention模型SelfAttention模型Transformer模型ELMO模型BERT模型其他面试常