【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记

04-01-自注意力机制Self-attention

  • 模型输入
    • 文字处理
    • 语音处理
    • Graph
  • 模型输出
    • 类型一:一对一(Sequence Labeling)
    • 类型二:多对一
    • 类型三:多对多(由模型自定seq2seq)
  • 一对一类型:序列标注问题 - 无上下文信息
  • 序列标注问题 - 解决方法一:滑动窗口相邻向量信息
  • 序列标注问题 - 解决方法二:Self-attention
  • Self-attention
    • 如何保证每个输出都能分析所有输入上下文? - 关联度
    • 如何确定两个输入向量的关联程度α?- 计算关联度的模组(Dot-product & Additive)
      • 计算关联度的模组 Dot-product(transformer中的方法)
      • 计算关联度的模组 Additive
  • Self-attention 如何利用 Dot-product 计算出关联度?
    • 如何基于关联度抽取信息?- 加权求和
  • Self-attention 原理
  • 多头注意力机制 (Multi-head Self-attention)
    • 为什么需要多种注意力?- 相关性可能有多种
    • 如何计算多头注意力中的相关性?- 按相关类型计算
  • 注意力机制问题:没有位置信息
    • 为什么需要位置信息?- 位置信息很重要
    • 如何为Self-attention添加位置信息?- Positional Encoding
      • 如何表示位置信息 e i e^i ei? - 人工标注 & 数据集训练
        • 人工标注表示位置信息
        • 训练集训练
  • 自注意力机制的应用
    • 语音处理
    • 问题:超大输入序列导致复杂度很高 - Truncated Self-attention
    • 图像处理
  • Self-attention Vs CNN
  • Self-attention Vs RNN
  • Self-attention 应用图论(GNN)
  • Self-attention 众多变形

模型输入

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第1张图片

文字处理

无论是预测视频观看人数还是图像处理,输入都可以看作是一个向量,输出是一个数值或类别。然而,若输入是一系列向量(序列),同时长度会改变,例如把句子里的单词都描述为向量,那么模型的输入就是一个向量集合,并且每个向量集合的大小都不一样。
【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第2张图片

一种将单词表示为向量的方法:One-hot Encoding(独热编码)。

向量的长度就是世界上所有词汇的数目,用不同位的1(其余位置为0)表示一个词汇,如下所示:

apple = [1, 0, 0, 0, 0, …]
bag = [0, 1, 0, 0, 0, …]
cat = [0, 0, 1, 0, 0, …]
dog = [0, 0, 0, 1, 0, …]
computer = [0, 0, 0, 0, 1, …]

但是这种表示方式默认了所有词汇间没有任何关系,猫和狗都是动物这种关系在向量集中体现不出来,里面没有任何有意义的信息。

one hot representation编码的每个单词都是一个维度,彼此independent。

另一种将单词表示为向量方法:Word Embedding。

给单词一个向量,这个向量有语义的信息,一个句子就是一排长度不一的向量。将Word Embedding画出来,就会发现同类的单词就会聚集,因此它能区分出类别:

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第3张图片

To learn more: https://youtu.be/X7PH3NuYW0Q (in Mandarin)

什么是 word embedding? - YJango的回答 - 知乎

语音处理

取一段语音信号作为窗口,可以将10ms内的信息描述为一个向量(帧),滑动这个窗口就得到这段语音的所有向量(一个向量集)。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第4张图片

Graph

社交网络的每个节点就是一个人,节点之间的关系用线连接。每一个人就是一个向量。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第5张图片

分子上的每个原子就是一个向量(每个元素可用One-hot编码表示),分子就是一堆向量。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第6张图片

模型输出

按照输入向量与输出标签的数量关系,可以分为一对一、多对一及多对多。

类型一:一对一(Sequence Labeling)

每个输入向量对应一个输出标签。
【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第7张图片

文字处理:词性标注(每个输入的单词都输出对应的词性)。
语音处理:一段声音信号里面有一串向量,每个向量对应一个音标。
图像处理:在社交网络中,推荐某个用户商品(可能会买或者不买)。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第8张图片

类型二:多对一

多个输入向量对应一个输出标签。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第9张图片

语义分析:正面评价、负面评价。
语音识别:识别某人的音色。
图像:给出分子的结构,判断其亲水性。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第10张图片

类型三:多对多(由模型自定seq2seq)

不知道应该输出多少个标签,机器自行决定。
【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第11张图片

翻译:语言A到语言B,单词字符数目不同
语音识别

接下来先讨论一对一类型。

一对一类型:序列标注问题 - 无上下文信息

序列标注:Sequnce Labeling

利用全连接网络,输入一个句子,输出对应单词数目的标签。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第12张图片

问题:当一个句子里出现两个相同的单词,并且它们的词性不同(例如:I saw a saw. 我看见一把锯子)。期望模型输出第一个saw为动词,第二个saw为名词,但是这种结构的神经网络不可能做到。

序列标注问题 - 解决方法一:滑动窗口相邻向量信息

解决:让神经网络考虑上下文,利用滑动窗口,每个向量查看窗口中相邻的其他向量的性质。

考虑整条语句分析的情况,需要获取整条语句的词汇信息,需要滑动窗口包含语句所有词汇的向量,这样会导致全连接神经网络的参数暴增,进而导致超大运算量甚至是过拟合。

所以,这种方法不能解决整条语句的分析问题,即语义分析。这就引出了 Self-attention 技术。

序列标注问题 - 解决方法二:Self-attention

输入整个语句的向量到self-attention中,输出相等个数的向量,且输出的每个向量都考虑输入的整个语句向量集的信息。

一种方式是考虑训练集中最长的语句的长度作为滑动窗口的尺寸,这意为着Fully Connected Network需要大量参数,运算量很大,而且容易overfeating。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第13张图片

输入整个语句的向量到self-attention中,输出对应个数的向量,再将其结果输入到全连接网络,最后输出标签。以上过程可多次重复,fully connected network 与 self-attention 交替使用:

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第14张图片

Google 根据自注意力机制在论文 Attention is all you need 中提出了 Transformer 架构,注意力机制在该论文之前就已经存在,但是,是在Attention is all you need论文中将注意力机制称为Self-attention,并使其发扬光大。

self attention :专注整个序列的信息。FC:专注某个位置的信息

Self-attention

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第15张图片

a表示输入层或隐藏层,每个输出b与所有输入a都相关。

如何保证每个输出都能分析所有输入上下文? - 关联度

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第16张图片

α 表示a1与a4的关联程度。又称为 attention score。

在类似语义分析的任务场景中,每个输出b都需要分析所有a,但是使用滑动窗口又会导致参数量暴增,所以需要根据a1找出输入向量集中 哪些向量与 ’ 判断a1的类别 ’ 相关。

如何确定两个输入向量的关联程度α?- 计算关联度的模组(Dot-product & Additive)

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第17张图片

计算关联度的模组很多,输入两个[输入向量],输出两个[输入向量]的关联程度。

下面的讲解以 Dot-product 和 Additive 为例。

计算关联度的模组 Dot-product(transformer中的方法)

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第18张图片

计算关联度的模组 Additive

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第19张图片

Self-attention 如何利用 Dot-product 计算出关联度?

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第20张图片

注意:a1与自己也要计算关联程度。

【待补充】a1与自己计算关联程度的重要性?

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第21张图片

α i , j 表示两个输入向量的关联程度 < / f o n t > , \alpha_{i,j}表示两个输入向量的关联程度αi,j表示两个输入向量的关联程度</font>通过 q i q^i qi k j k^j kj的内积运算得到,其中i表示 q i q^i qi是由 a i a_i ai计算出来的,j表示 k j k^j kj是由 a j a_j aj计算出来的

计算出相关性之后,可加一层softmax层(也可以加别的激活函数,比如ReLu)。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第22张图片

注: b i ( 1 ≤ i ≤ 4 ) b^i (1≤i≤4) bi(1i4) 是同时计算出来的

如何基于关联度抽取信息?- 加权求和

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第23张图片

哪个 a i j ′ × v i a'_{ij} × v^i aij×vi 更大,哪个 a 1 a^1 a1就更能决定结果 b i b_i bi

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第24张图片

Self-attention 原理

这里需要三个向量:Query,Key,Value。其解释参考文章 《如何理解 Transformer 中的 Query、Key 与 Value》- yafee123

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第25张图片【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第26张图片

注意:KTQ的结果A,需要经过SoftMax处理。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第27张图片【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第28张图片

上述过程可以总结为:

① 输入矩阵 I I I分别乘以 W q , W k , W v W^q,W^k,W^v WqWkWv得到三个矩阵 Q , K , V Q,K,V Q,K,V
A = K T Q A=K^TQ A=KTQ,经过激活函数处理得到注意力矩阵 A ′ = s o f t m a x ( K T Q d k ) A'=softmax(\frac {K^TQ}{\sqrt{d_k}}) A=softmax(dk KTQ)
③ 输出 O = V A ′ O=VA' O=VA

即:
A t t e n t i o n ( Q , K , V ) = V ⋅ s o f t m a x ( K T Q d k ) Attention(Q,K,V) = V \cdot softmax(\frac {K^TQ}{\sqrt{d_k}}) Attention(Q,K,V)=Vsoftmax(dk KTQ)
其中, d k \sqrt{d_k} dk 为向量长度。唯一要训练出的参数就是 W q , W k , W v W^q,W^k,W^v WqWkWv

注意力系数计算:

阶段1:根据Query和Key计算两者的相似性或者相关性
阶段2:对第一阶段的原始分值进 行归一化处理
阶段3:根据权重系数对Value进行加权求和,得到Attention Value

所有输入向量中,谁的 attention score 大,谁就能决定Attention Value,即b。

具体计算参考:动手推导Self-Attention

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第29张图片

多头注意力机制 (Multi-head Self-attention)

为什么需要多种注意力?- 相关性可能有多种

有些任务(例如:翻译、语音辨识等)中,multi-head会得到更好的结果。

之前的例子,都是用Q去找K,来计算相关性。但是两个事物之间相关性可能有多种不同的类型。因此设置多种Q(head),多种K(Key),多种V(Value),不同的Q来负责不同的相关性。

head的个数是超参数。

如何计算多头注意力中的相关性?- 按相关类型计算

所有 b i , j b^{i,j} bi,j单独计算,同时得出。比如 b i , 1 b^{i,1} bi,1 b i , 2 b^{i,2} bi,2 b i , 3 b^{i,3} bi,3单独计算同时得出。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第30张图片

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第31张图片

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第32张图片

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第33张图片

如上述公式,在Multi-head的情况下,输入还是Q,K,V,输出是不同head的输出的拼接结果,再投影到 W 0 W^0 W0中。其中,对每一个head,可以将 Q,K,V 通过不同的可学习的参数 W Q , W K , W V W^Q,W^K,W^V WQ,WK,WV 投影到一个低维上面,再做注意力函数Attention,最后输出结果。

Query,Key,Value首先经过一个线性变换,然后输入到放缩点积attention,注意这里要做 h 次,其实也就是所谓的多头,每一次算一个头。而且每次Q,K,V进行线性变换的参数W是不一样的 W Q , W K , W V W^Q,W^K,W^V WQ,WK,WV 。然后将 h 次的放缩点积attention结果进行拼接,再进行一次线性变换得到的值作为多头attention的结果。

注意力机制问题:没有位置信息

在语义分析任务中,对于Self-attention来说,并没有序列中字符位置的信息。之前的计算过程中,字母右上角出现的数字,与位置信息无关,只是为了讲解而标注的。

为什么需要位置信息?- 位置信息很重要

在语义分析任务中,例如动词是不太可能出现在句首的,因此可以降低动词在句首的可能性,但是自注意力机制并没有该能力。因此需要加入 Positional Encoding 的技术来标注每个词汇在句子中的位置信息。

如何为Self-attention添加位置信息?- Positional Encoding

每一个不同的位置都有一个专属的向量 e i e^i ei,然后再做 e i + a i e^i+a^i ei+ai 的操作,之后的计算看到 e i e^i ei 就知道 a i a^i ai 的位置是 i i i

如何表示位置信息 e i e^i ei? - 人工标注 & 数据集训练

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第34张图片

人工标注表示位置信息

如下图所示,在attention is all you need论文中, e i e^i ei为图中的一列。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第35张图片

这种 e i e^i ei 是人工标注(hand-crafted)的。就会出现很多问题:在确定 e i e^i ei 的时候只定到128,但是序列长度是129。在最早的论文attention is all you need中是没有这个问题的,它通过某个规则(sin、cos函数)产生。

位置编码如何表示更好?是一个待研究的问题。

训练集训练

位置编码可以自定义表示方法,也可以通过对训练集学习来得出。

下图展示的是几种位置表示方法的效果。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第36张图片

自注意力机制的应用

Transformer 、BERT 模型用到了自注意力机制。
在这里插入图片描述
Self-attention 还可以用在除NLP以外的问题上:语音处理,图像处理。

语音处理

问题:超大输入序列导致复杂度很高 - Truncated Self-attention

attention matrix复杂度是输入向量个数的平方,在语音处理任务中,假设一个向量表示10ms内的语音信息,那么一段语音将由上千个向量组成,这将导致语音处理任务的计算量很大,并且需要很大的存储空间记录计算信息。
【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第37张图片

针对该问题,提出了 Truncated Self-attention 思想。计算注意力时,只关注小范围(自定义)上下文信息,而不是整句的上下文信息,加快运算速度,节省存储空间。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第38张图片

考虑多大范围内的上下文信息,视任务而定。

图像处理

使用CNN时,一张图片可看做一个很长的向量。

一张图片也可看做一组向量:一张5∗10的RGB图像可以看做5∗10的三个(通道)矩阵,把一个像素的三个通道数值看作一个三维向量

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第39张图片

既然一张图片可以看做一组向量,那么也可以使用self-attention进行图像处理。例如:GAN、DETR。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第40张图片

Self-attention Vs CNN

CNN只考虑感受野中的信息。Self-attention考虑整张图片的信息。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第41张图片

CNN是简化版的Self-attention。Self-attention是复杂化的CNN。CNN中感受野的大小是自定义的,Self-attention中使用attention找出相关的像素,这些相关的像素可以看作是自动学习得到的“感受野”。

在论文On the Relationship between Self-Attention and Convolutional Layers中,用数学严谨的证明了CNN就是self-attention的特例,self-attention只要设置合适的参数可以做到CNN同样的效果。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第42张图片

如果用不同的数据量来训练CNN和self-attention,会出现不同的结果。大模型self-attention弹性大,需要更多的训练数据,如果用少量数据训练,容易出现过拟合;而小的模型CNN弹性小,在少量数据集上不容易出现过拟合,但在大数据集

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第43张图片

相关论文:An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale

Self-attention Vs RNN

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第44张图片

1 RNN中,如果想让后面的RNN考虑前面RNN的输入,就需要memory保存前面RNN的输入。而self-attention中每一个输出都分析了所有输入的信息。

2 RNN中,不能平行处理数据,每一层RNN只考虑前一层的输出。而self-attention中可以平行处理数据,同时计算注意力并得到输出。

3 可以使用双向RNN实现跟self-attention一样考虑所有input sequence的功能。但是,即使使用双向RNN,上图中最右FC(黄)想考虑最左输入(蓝),需要memory保存最左输入,一直保存传递到最右FC。

因此很多的应用逐渐把RNN的架构改为Self-attention架构。

在论文Transformers are RNNs: Fast autoregressive transformers with linear attention中,详细介绍了Self-attention 与 RNN的关系,self-attention加上其他结构可等效于RNN。

Self-attention 应用图论(GNN)

GNN:Graph Neural Network

将图中使用Self-attention,图中顶点的关联关系不需要经过学习得到,关联关系可以直接根据边得到。

【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第45张图片

Self-attention 众多变形

自注意力机制的缺点就是计算量非常大,因此如何优化其计算量是未来研究的重点,所以出现了很多Self-attention的变形。
【深度学习】04-01-自注意力机制(Self-attention)-李宏毅老师21&22深度学习课程笔记_第46张图片
以下论文中,分析了多种self-attention的变形。

Long Range Arena: A Benchmark for Efficient Transformers

Efficient Transformers: A Survey

你可能感兴趣的:(#,深度学习-李宏毅,深度学习,人工智能,机器学习)