transformer中的位置编码

背景：

  各种transformer都含有一项关键的技术——位置编码（position encoding），它可以提升模型对位置信息的感知能力，弥补了Self Attention机制中位置信息的缺失；

  绝对位置编码直接将位置的信息加入到现有的特征中。带有绝对位置编码的Self Attention 计算公式如式1所示：
$$att=(X_i+p_i{)}^T{W}_q^T{W}_k(X_j+p_j)\text{\hspace{1em}(1)}$$
其中 $X_i,X_j$ 表示序列中 $i,j$ 两点的特征向量，$W_q$ 表示 query 矩阵，$W_k$ 表示 key 矩阵， $p_i,p_j$ 表示 $i,j$ 两点的绝对位置编码信息；
  将式1展开得：
$$X_i^T{W}_q^T{W}_k{X}_j+p_i^T{W}_q^T{W}_k{X}_j+X_i^T{W}_q^T{W}_k{p}_j+p_i^T{W}_q^T{W}_k{p}_j\text{\hspace{1em}(2)}$$
从式2中可以观察到，第1项是与位置无关的信息，第2、3项只与一个位置相关，第4项是与两个位置都相关的信息，目标是使得注意力机制中包含两个位置之间的相对位置信息，也就是让第满足式3：
$$p_i^T{W}_q^T{W}_k{p}_j=g(i-j)\text{\hspace{1em}(4)}$$
其中 $g(i-j)$ 是一个只与两者相对位置相关的函数；$W_q^T、W_k$ 是可学习的参数，不妨将问题简化为如何构造函数 $g^{\prime }(i-j)=p_i^T{p}_j$ ,也就是 $g$ 只与相对位置有关，而与 $i、j$ 具体的数值无关；由初等数学三角函数可知：
$$cos(\theta -\phi )=\cos \theta \cos \phi +\sin \theta \sin \phi \text{\hspace{1em}(5)}$$
不妨令:
$$\begin{gathered} p_i=\left(\genfrac{}{}{0ex}{}{cos{\theta }_i}{sin{\theta }_i}\right) \\ {p}_j=\left(\genfrac{}{}{0ex}{}{cos{\theta }_j}{sin{\theta }_j}\right) \end{gathered}$$
就有：
$$cos({\theta }_i-{\theta }_j)=(cos{\theta }_i,sin{\theta }_i)\left(\genfrac{}{}{0ex}{}{cos{\theta }_j}{sin{\theta }_j}\right)\text{\hspace{1em}(6)}$$
若想让 $cos({\theta }_i-{\theta }_j)$ 只与 $i-j$ 有关，则只需有 ${\theta }_k=k{\theta }_0$，则有$$cos({\theta }_i-{\theta }_j)=cos[(i-j){\theta }_0]\text{\hspace{1em}(7)}$$
所以transformer论文中使用cos与sin函数来对位置编码，是有一定的意义的；
$$\begin{array}{rl}P{E}_{(pos,2i)}& =\sin \left(pos/10000^{2i/d_{\text{model }}}\right)\\ P{E}_{(\text{pos },2i+1)}& =\cos \left(pos/10000^{2i/d_{\text{model }}}\right)\end{array}\text{\hspace{1em}(8)}$$
其中 pos 为序列中（句子）的位置，$d_{model}$ 为位置信息编码的特征向量的长度，i 表示位置信息编码特征向量的第 i 个元素 ，编码向量中的奇数位用cos来编码，偶数位用sin来编码；