2022李宏毅机器学习深度学习学习笔记第三周--Self-attention

文章目录

  • 摘要
  • 一、Self-attention的引入
    • self-attention 运作方式
    • multi-head self-attention
    • self-attention和CNN的比较
    • self-attention和RNN的比较
  • 二、总结


摘要

介绍一种常见的network架构,叫 Self-attention自注意力机制 ,下文介绍了Self-attention的计算过程,以及Self-attention和之前所讲的CNN和RNN相比,他们之间的关系以及它的优势。


一、Self-attention的引入

目前为止network的输入都还是一个向量,如果输入是一排向量(a set of vectors),而且输入向量的数目不定。下面介绍输入是一排向量且长度会改变的例子。
1.文字处理 vector set as input

假设输入是一个句子,句子的每个词汇都描述成一个向量,怎么把单词描绘成向量
1.1 one-hot encoding 每个词汇对应一个向量,如下图:

2022李宏毅机器学习深度学习学习笔记第三周--Self-attention_第1张图片
这种表示存在的问题就是向量之间没有语义的存在。
1.2 Word embedding
2022李宏毅机器学习深度学习学习笔记第三周--Self-attention_第2张图片

这种表示有语义的信息的,从图中可以看出所有的动物、植物和动词分别是一团。
2.声音讯号
2022李宏毅机器学习深度学习学习笔记第三周--Self-attention_第3张图片
一段声音讯号取25ms为一个frame,描述一整段声音讯号将图中的窗口右移10ms。
可能的输出类型
1,每一个向量都有一个label,输入几个向量就输出几个label。这种处理的应用有文字处理POS tagging(标注处每个单词的词性)
2.一整个序列只需要有一个label输出。比如sentiment analysis(给机器一段话,让机器决定这段话是正面的还是负面的)
3.机器自己决定输出的label的数量。 上述的第一种类型的输出又叫sequence labeling。 它的连接方式是fully-connected,同时还有考虑上下文,因为相同的单词可能输出不同的词性。但是这种不能考虑整个序列,考虑整个序列要用到self-attention。

self-attention 运作方式

2022李宏毅机器学习深度学习学习笔记第三周--Self-attention_第4张图片
self-attention可以叠加,如下图:
2022李宏毅机器学习深度学习学习笔记第三周--Self-attention_第5张图片
self-attention的输入可能是整个network的输入也可能是hidden layer 的输出;输入为a,输出是考虑了所有的a得到b。2022李宏毅机器学习深度学习学习笔记第三周--Self-attention_第6张图片
上图如何产生输出b1?
1.根据a1找出输入序列中和a1相关的其他向量,每个向量和a1相关程度用α来表示,需要计算attention 的模组,拿两个向量作为输入,输出α(关联程度)。
计算α的数值的做法有两种:
1. Dot-product
输入的两个向量分别乘上不同的矩阵得到q,k,再把q,k相乘得到α。
2022李宏毅机器学习深度学习学习笔记第三周--Self-attention_第7张图片
2. Additive
2022李宏毅机器学习深度学习学习笔记第三周--Self-attention_第8张图片
拿每个query q去对每个key k做attention,通过一个softmax函数
2022李宏毅机器学习深度学习学习笔记第三周--Self-attention_第9张图片
根据α,我们知道哪些向量和a1是最有关系的,将a1-4乘上wv得到新的v1-4,v1-4乘上α得到b1。谁的分数大,谁的v就更影响结果b.2022李宏毅机器学习深度学习学习笔记第三周--Self-attention_第10张图片

multi-head self-attention

self-attention的进阶版本叫multi-head self-attention
先将ai乘上矩阵得到qi,再将qi乘上两个矩阵得到qi1,qi2,k和v也是相似的,在算attention分数的时候不用管k2,只管k1就好了,得到bil;k2和k3类似k1的操作;bi1和bi2合起来乘上矩阵得到bi。
2022李宏毅机器学习深度学习学习笔记第三周--Self-attention_第11张图片
Position Encoding(位置嵌入)
可以将未知的资讯加到self-attention中,为每个位置设定一个向量叫位置向量e,e加到ai上就结束了。
2022李宏毅机器学习深度学习学习笔记第三周--Self-attention_第12张图片

self-attention和CNN的比较

CNN只考虑receptive field,可以看做是简化版的self-attention,CNN是self-attention的特例,self-attention通过某些限制就可以变成CNN。
2022李宏毅机器学习深度学习学习笔记第三周--Self-attention_第13张图片
从图中看出在资料量很少的时候CNN优于self-attention,在资料量较多的时候,self-attention超过了CNN;优于self-attention的弹性比较大,在训练资料多的时候结果比较好。

self-attention和RNN的比较

RNN最左边的输入存在memory中,一路都不能忘掉带到最右边,才能在最后的时间节点被考虑。对于self-attention没有这个问题。
还有一个主要的区别是RNN没有办法平行化,同时处理所有的输出,而self-attention可以平行处理所有的输出。

二、总结

Self-Attention的作用就是全局关联权重,然后做输入的加权和,对attention的不同部分给予不同的关注度。由于RNN系列的模型,无法并行计算,self-attention与RNN相比的优点是可以平行处理。

你可能感兴趣的:(机器学习,深度学习,学习)