【TimeSerias】Transformer

Sequence

1. rnn 和 cnn

• RNN 很难并行化
• CNN很难捕捉较远的信息

2. Self-attention

• 拿每个query q去对每个 key k做attention
  
• 计算输出
  

Self-attition 矩阵计算

$$\begin{array}{rl}{q}^i=& W^q{a}^i\\ k^i=& W^k{q}^i\\ v^i=& W^v{a}^i\\ Q=& W^{q}A\\ K=& W^{k}A\\ V=& W^{v}A\end{array}\text{\hspace{1em}(1.1)}$$

计算输出：
$$\begin{array}{rl}\hat{A}=& \frac{\text{softmax}(K^{\top }Q)}{\sqrt{d}}\\ B=& V\ast \hat{A}\end{array}\text{\hspace{1em}(1.2)}$$

Muti-head Self-attention

• 多头自注意力机制在 q、k、v
• qi1 之和 ki1 、vi1 操作
• 最后将多头的结果 拼接
• 对 $[b^{i,1}{b}^{i,2}]$做降维即：
  $$b^i=W^i[b^{i,1}{b}^{i,2}{]}^{\top }$$
• 头的数量是超参数，一个可能的解释是，不同的头可能关注的点不一样，关注Long-Time 或者 Short-Time

Positional Encoding

解决问题：

• 在 self-attention 中没有位置信息
  
  使用 $e^i$来对位置进行编码。使用：$e^i+a^i$ 作为输入
• 为什么不是concat 而是相加？
• 假设有一个one-hot 的位置编码，做位置拼接。在后续的运算中，可以发现：
• $W^I{x}^i$ 是 $a^i$
• $W^P{p}^i$是$e^i$
• concat 和直接相加后运算等价
  
  -$W^p$ 怎样计算？

Transformer