重学Attention

注意力机制对比RNN
主要解决了RNN无法并行,并且不能解决长序列依赖问题
所以为什么设计
Q K V这三个矩阵 一边来是让 K == V的
首先通过Q 和 K点击计算Attention矩阵,这个矩阵表明的是V上每一个特征与Q的相关程度,相关程度高的,权重就大一点,相关程度低的权重就低一点

自注意力的Q K V来来源相同

重学Attention_第1张图片
自注意力的创新性在这里就完美的体现出来了,同一句话,哪些词对making的作用就体现出来了对吧

Masked-Self-Attention
重学Attention_第2张图片
Masked-Self-Attention就是在解码器阶段,每次生成一个词,不能知道后面的信息,只知道前面的信息

再讲解一下Multi-Head-Attention
其实我现在的感觉Multi-Head的概念和通道数相同
现在假设有16个字,16个字可以被映射的16维度,那么输入的矩阵是16 * 16的
那么八头就是变成了 8 个 16 * 2的矩阵。
对应到CNN的通道数进去,就变成了了RGB三个通道。对应三个通道去提取特征

位置编码

重学Attention_第3张图片
位置编码存在的意义,就是给单词加上词序的信息
他可以变成一个线性组合
重学Attention_第4张图片
这个是Transformer的架构

先说一下Decoder提供的是K V
我们知道,我们是去从K V中,依靠问题Q去寻找合适的的信息对吧。所以问题Q就要被输入Decoder,因为Decoder是执行者。Encoder只能只是信息的承载着。

再说一下为什么Decoder部分要用Masked
我们知道,比如机器翻译这个领域,或者文本生成领域,只能依靠前面的信息,去生成下一个字而不能通过下一个字去获得信息。

你可能感兴趣的:(深度学习,人工智能)