TransformerVision（一）|| Self-Attention和MultiHead Self-Attesntion原理

1. Self-Attention : （三个全连接层参数矩阵 q、k、v）

   1. 首先将时序数据 X_i 经过 Input Embedding 变成输入的参数 a_i

   2. 然后 a_i 依次与这三个参数矩阵相乘 得到 q_i、k_i、v_i

      

      注：

      1. q参数代表query，会去匹配相应的key
      2. k参数代表key，会去和query进行匹配
      3. v参数代表information to be extracted，表示从a_i 中学习到的信息，机器认为他学到的

   3. a₁、a₂、… 、a_n 共用同一个q、k、v 参数矩阵，可把a₁、a₂、… 、a_n 堆叠成一个矩阵，然后乘以参数矩阵，进行并行化处理

      

   4. 我们把经过q、k、v参数矩阵相乘后得到的矩阵值输入到Attention

      

      此处详细步骤

      • 将q_i与k_i进行match，公式为

        

        q₁ 与k₁、k₂、k₃、…、k_n 都要相乘，得到α_1,i、α_2,i、…、α_n,i

      • 图解

        

        得到的$\hat{\alpha }$ 就是V的权重，得到的权重越大，就越关注这个V

        

      • 得到b_i

        

        图解：

        

      得到Self-Attention Layer

      

      ---

      

2. Multi-head Self-Attention

   • 假如 q_i 向量是一个n维向量，head数为2，那么就将 q_i 向量均分为2个子向量，对于k_i 、v_i 向量同理

     

     ---

     

     ---

     

     ---

     

     将得到的head 进行拼接

     

     将拼接好的head进一步融合得到 MultiHead(Q,K,V)最终的输出，此处的 W_o 的维度是 d×d 的矩阵

     

     ---

     

     ---

     

3. 位置编码