NLP位置编码

以Transfomer和Bert为首的一系列深度模型不断验证着Attention模式在NLP领域的成功。Attention模式与传统的RNN模式相比，优点确实很多。比如不受长距离约束，可以并行化加快速度等等。

一般来说，一个自然语言的句子，它所携带的信息 = 组成句子的词的信息 + 语法（or 语序）信息。

RNN看似只处理了词语的信息，但其实它是通过顺序输入的方式得到了词语间的语序信息，这种方式是优点是自然，不需要其他人工干预；但缺点是无法掌控获得的语序信息，而且RNN受长距离约束和难以并行等问题也是由顺序输入带来的。

Attention则摒弃了原始句子的自然语序，不同词间的信息交互不受自然语序的影响。但直接抛弃语序信息在很多任务里是不可取的，例如翻译任务，情感分类任务等。因此大部分采用Attention思想的模型需要配一个“位置编码”来保留句子的语序信息，这篇文章我们就来介绍一些比较常用的位置编码方式。

---

Learned Positional Embedding

BERT中使用的位置编码，随机初始化position embedding，然后随着模型训练得到更新。

优点：简单方便，无需额外开销
缺点：1.这样得到的位置编码是独立训练得到的，不同位置的编码向量没有明显的约束关系，因此只能建模绝对位置信息，不能建模不同位置之间的相对关系。
2.句子长度不能超出位置编码的范围

• 词向量里面的: man - women = king - queen 是怎么来的？是否一定存在这样的关系？其他词也适用吗？
• learned positional embedding 是否也有这样的关系？否，词向量建模的是语义，因此词向量间在语义上是有相关性的，但learned positional embedding建模的是{1，2，3…}并且没有给定任何约束关系，所以其实是完全独立训练的。

Sinusoidal Position Embedding

这是Transformer模型里用到的位置编码模式，对每一个位置$pos$，它的位置编码是:
$$\begin{array}{rl}PE(pos,2i)& =sin(\frac{pos}{10000^{\frac{2i}{d_{model}}}})\\ PE(pos,2i+1)& =cos(\frac{pos}{10000^{\frac{2i}{d_{model}}}})\end{array}$$

首先我们注意到由于它的定义方式，可得：
$$\begin{array}{rl}PE(pos+k,2i)& =PE(pos,2i)PE(k,2i+1)+PE(pos,2i+1)PE(k,2i)\\ PE(pos+k,2i+1)& =PE(pos,2i+1)PE(k,2i+1)-PE(pos,2i)PE(k,2i)\end{array}$$
重新记 $PE(k,2i)=u(k)，PE(k,2i+1)=v(k)$，那么：
$$\left[\begin{array}{c}PE(pos+k,2i)\\ PE(pos+k,2i+1)\end{array}\right]=\left[\begin{array}{cc}v(k)& u(k)\\ -u(k)& v(k)\end{array}\right]\left[\begin{array}{c}PE(pos,2i)\\ PE(pos,2i+1)\end{array}\right]$$

即给定相对位移k，PE(pos+k)可以用PE(pos)的线性表示。

此外，根据Attention的计算方式，$po{s}_1$和$po{s}_2$这两个位置的相关性由$PE(po{s}_1{)}^T\ast PE(po{s}_2)$描述：
$$\begin{array}{rl}PE(po{s}_1{)}^T\ast PE(po{s}_2)& =\sum _{i=1}^{\frac{d}{2}-1}sin(\frac{po{s}_1}{10000^{\frac{2i}{d}}})\ast sin(\frac{po{s}_2}{10000^{\frac{2i}{d}}})+cos(\frac{po{s}_1}{10000^{\frac{2i}{d}}})\ast cos(\frac{po{s}_2}{10000^{\frac{2i}{d}}})\\ & =\sum _{i=1}^{\frac{d}{2}-1}cos(\frac{po{s}_1-po{s}_2}{10000^{\frac{2i}{d}}})\end{array}$$
下图是不同d（位置编码向量长度）下，$PE(po{s}_1{)}^T\ast PE(po{s}_2)$ 关于 $po{s}_1-po{s}_2$的图像：

但这个的问题首先在于，$cos$是一个偶函数，也就是说$po{s}_1-pos2$等于$a$或$-a$对位置相关性是没有影响的，但实际上，我们希望位置编码是可以区分前后的。

第二，在实际的Transfomer Attention计算中，input embedding首先需要经过一个线性映射：

因此真正使用的并不是$P{E}_1^{T}P{E}_2$，而是$P{E}_1^T{W}_Q^T{W}_{K}P{E}_2$。初始化时$W_Q,W_K$均是随机初始化的，所以$P{E}_1^T{W}_Q^T{W}_{K}P{E}_2$大概是：

注: 观察到$P{E}_1$和$P{E}_2$的每个值是在[-1,1]之间，因此把随机矩阵的值也取在[-1,1]

可以发现当线性变换矩阵是随机初始化时，$P{E}_1^T{W}_Q^T{W}_{K}P{E}_2$就跟$po{s}_1-po{s}_2$没有了清晰的相关性。

Note：使用Sinusoidal Position Embedding和Learned Positional Embedding在实验表现上区别不大，因此后面的一些论文如BERT，处于简便性考虑，采用的是Learned Positional Embedding

• 随着Transfomer模型的训练，这一现象会不会有所改善？
• 增加约束$W_Q^T{W}_K=I$，是否可以在解决上述问题时，不影响模型其他方面的效果？
• embeding 中的参数为什么取10000？

---

Relative Position Representations

Paper: Self-Attention with Relative Position Representations (Shaw et al.2018)

Transformer中的Self-attention可以记作：
$$\begin{array}{rl}{e}_{ij}& =\frac{x_i{W}^Q(x_j{W}^K{)}^T}{\sqrt{d_z}}\\ {\alpha }_{ij}& =\frac{exp(e_{ij})}{{\sum }_{k=1}^{n}exp(e_{ik})}\\ z_i& =\sum _{j=1}^n{\alpha }_{ij}(x_j{W}^V)\end{array}$$
由于上面提到的Sinusoidal Position Embedding会被后面隐藏层的线性变化扰乱其与相对位置的关系，因此一个自然的想法是在每个隐藏层都再加上相对位置编码的信息。因此Transfomer的研究人员又提出了Relative Position Representations（以下简称RPR），在其中设计了一个 Relative embedding table（假设句子长度为6）:
$$\left(\begin{array}{cccccc}{u}_0& u_1& u_2& u_3& u_3& u_3\\ u_{-1}& u_0& u_1& u_2& u_3& u_3\\ u_{-2}& u_{-1}& u_0& u_1& u_2& u_3\\ u_{-3}& u_{-2}& u_{-1}& u_0& u_1& u_2\\ u_{-3}& u_{-3}& u_{-2}& u_{-1}& u_0& u_1\\ u_{-3}& u_{-3}& u_{-3}& u_{-2}& u_{-1}& u_0\end{array}\right)$$
将这个Relative embedding table记作$\{a_{ij}^K\}$，其中每个$u_i$都是d维向量，那么带RPR的Self-attention变为：
$$\begin{array}{rl}{e}_{ij}& =\frac{x_i{W}^Q(x_j{W}^K+a_{ij}^K{)}^T}{\sqrt{d_z}}\\ {\alpha }_{ij}& =\frac{exp(e_{ij})}{{\sum }_{k=1}^{n}exp(e_{ik})}\\ z_i& =\sum _{j=1}^n{\alpha }_{ij}(x_j{W}^V+a_{ij}^V)\end{array}$$
其中$\{a_{ij}^V\}$也是一个跟$\{a_{ij}^K\}$形状一样的table。

结合公式不难发现，$\{a_{ij}^K\}$和$\{a_{ij}^V\}$的目的就是分别在计算$e_{ij}$和$z_i$的时候加上一个相对位置量，比如对于句子“我喜欢吃苹果”，那么“吃”对于“我”的相对位置量就是$a_{1,4}^K=u_3$，"喜"对于"欢"的相对位置量就是$a_{3,2}^K=u_{-1}$。论文设计的这个Relative embedding table其实就是要保证相对距离相同的两个位置间的相对位置量是一样的，在这个基础上矩阵$\{a_{ij}^K\}$和$\{a_{ij}^V\}$都是可以跟随模型训练而更新的。

而且论文还作了一个假设（后由实验验证），设置一个超参k，当相对距离大于k之后，就认为相对位置量不再随着相对距离的增大而变化，而是统一设为$u_k$或者$u_{-k}$。

最后不同的Head之间的Relative embedding table是共享的，因此每一层的位置编码参数只有$(2k+1)\times d\times 2$个。

##########################################################################################

与Sinusoidal Position Embedding比较

1. 正余弦编码仅加在了embedding层，而如上面所论证的，初始的位置编码会在后面被线性变换所干扰。而RPR是在每一层计算attention时都加上了relative position embedding
2. 其“缺点”是超出截断距离的相对位置量不再变化（受限于它的定义），而正余弦编码的好处正是不受限于相对位置的大小

##########################################################################################

实验结果

1. 在 WMT14 英德数据集上 base model BLEU 提升了 0.3, big model 提升了 1.3
2. Ablation 实验中，改变最大位置距离 k，显示 k 从 0-4 增大的过程 performance 有明显的提升，之后再增大 k 提升不明显
3. Attention bias 中的相对项提高更多的 performance, 而 SoftMax 之后再 Value 上加的那个相对项提升的性能略少

---

Transfomer-XL中的相对位置编码

Paper: Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context（2019）

由于RPR的实验表明Value上加的相对位置编码对实验结果影响不大。因此Transfomer_XL中就直接放弃了对Value项的修改，而是专注于Attention Bias项：
$$\begin{array}{rl}\widehat{e_{ij}}& =(x_i+p_i)W_Q{W}_K^T(x_j+p_j)\\ & =x_i{W}_Q{W}_K^T{x}_j+x_i{W}_Q{W}_K^T{p}_j+p_i{W}_Q{W}_K^T{x}_j+p_i{W}_Q{W}_K^T{p}_j\\ & \to x_i{W}_Q{W_{K,E}}^T{x}_j+x_i{W}_Q{W_{K,R}}^T{R}_{i-j}+u{W_{K,E}}^T{x}_j+v{W_{K,R}}^T{R}_{i-j}\end{array}$$
其中$x_i$和$p_i$分别是词向量和位置编码。

Transfomer-XL中对上式做了以下修改：

1. 将绝对位置编码$p_j$改为相对位置编码$R_{i-j}$，其中$R_{i-j}$是固定的不可训练量，其定义同正余弦编码
2. 由于已经将绝对位置编码$p_j$改成了相对位置量$R_{i-j}$，因此绝对位置量$p_i$需要保证对所有其他位置来说是不变的，因此将第三项里面的$p_i{W}_Q$整体替换成一个可训练量$u$（因为$W_Q$是可训练的）。同理将第四项里的$p_i{W}_Q$也替换成一个可训练量$v$
3. 将key的embedding和positional encoding 分别采用了不同的线性变换。其中$W_{K,E}$对应于key的embedding的线性映射矩阵，$W_{K,R}$对应与key的positional encoding的线性映射矩阵。

这样的得到的Attention Bias项具有了很好的解释性：

1. 第一项 $x_i{W}_Q{W_{K,E}}^T{x}_j$，表示内容偏差
2. 第二项 $x_i{W}_Q{W_{K,R}}^T{R}_{i-j}$，表示基于内容的位置偏差
3. 第三项 $u{W_{K,E}}^T{x}_j$，表示基于位置的内容偏差
4. 第四项$v{W_{K,R}}^T{R}_{i-j}$， 表示位置偏差

与RPR的比较

将RPR的公式展开
$$\begin{array}{r}\widehat{e_{ij}}=x_i{W}^Q(x_j{W}^K+a_{ij}^K{)}^T=x_i{W}_Q{W}_K^T{x}_j+x_i{W}_Q{a_{ij}^K}^T\end{array}$$
只对应了Transfomer-XL中的第一项和第二项，所以Transfomer-XL中的位置编码可以说是RPR的拓展。而且Transfomer-XL使用了正余弦编码来表示相对位置量，因此它是不受限于数据长短的，而RPR中长度超过一定位置就只能截断。

##########################################################################################

实验结果

比较了原版Transformer和Transformer-XL，采用不同position encoding方式。

保证模型大小一致的前提下，Transformer-XL在采用自己的位置编码时，比采用RPR的位置编码，PPL减小了1.2

---

Complex Embeddings

Paper: Encoding word order in complex embeddings (2020)

前面几种位置编码方式依然是在“词向量+位置向量”的范畴里面探索位置向量可能的形式，而这篇论文直接跳出了这个框架，提出了一个全新的假设：

记一个单词在词表里的索引为$j$，它在文章里的位置是$pos$。那么上面的对词向量和位置向量的表达方式可以记作：
$$f(j,pos)=f_{we}(j)+f_{pe}(pos)$$
其中$f_{we},f_{pe}:\mathbb{N}\to {\mathbb{R}}^D$

而Complex Embeddings里把$f(j,pos)$拓展为一个光滑的二元函数：$f(j,pos)=g_j(pos)\in {\mathbb{C}}^D$，展开变成：
$$[g_{j,1}(pos),\cdots ,g_{j,D}(pos)]\in {\mathbb{C}}^D$$
下面将$g_{j,d}$简记为g，因此$g:\mathbb{N}\to \mathbb{C}$是关于位置$pos$的函数。

为了使得$g$能够体现位置间的相对关系，对任意$n\in \mathbb{N}$我们希望存在一个函数$T_n:\mathbb{C}\to \mathbb{C}$ 满足
$$g(pos+n)=T_n(g(pos))$$
也就是说$g(pos+n)$可用$g(pos)$和$n$来表示。论文中为了简化问题，将$T_n$限定为线性变换，i.e. 存在一个函数$w:\mathbb{N}\to \mathbb{C}$，满足$\forall n,T_n(g(pos))=T(n,g(pos))=w(n)g(pos)$。以上性质被称为Position-free offset transformation

第二个性质比较trivial，要求$g$是有界的，i.e. $\exists \delta >0,对\forall pos,有|g(pos)|\le \delta$

接下来论文给出了一个满足以上两个性质的$g(pos)$的等价形式：
$$g(pos)=z_2{z}_1^{pos}{z}_1,z_2\in \mathbb{C},|z_1|\le 1$$

##########################################################################################

proof: 充分性，由于$g$满足Position-free offset transformation性质，$\forall n_1,n_2\in \mathbb{N}$
$$\begin{array}{rl}w(n_1)w(n_2)g(pos)& =w(n_1)T_{n_2}(g(pos))=w(n_1)g(pos+n_2)\\ & =T_{n_1}(g(pos+n_2))=g(pos+n_2+n_1)\\ & =T_{n_1+n_2}(g(pos))=w(n_1+n_2)g(pos)\end{array}$$
$\Rightarrow w(n_1)w(n_2)=w(n_1+n_2)\Rightarrow w(n)=w(1{)}^n$，不妨记$w(1)=z_1,g(0)=z_2$
$$g(pos)=g(0+pos)=g(0)w(pos)=g(0)w(1{)}^n=z_2{z}_1^{pos}$$
又因为$g$有界，因此$|z_1|\le 1$。得证。

必要性, 已知$g(pos)=z_2{z}_1^{pos}且|z_1|\le 1$，那么不妨取$w满足w(n)=z_1^n$，则有
$$g(pos+n)=z_2{z}_1^{pos+n}=z_2{z}_1^{pos}{z}_1^n=g(pos)w(n)=T_n(g(pos))$$
因此Position-free offset transformation性得证。

再有，$|g(pos)|\le |z_2||z_1^{pos}|\le |z_2|$，因此有界性也得证。必要性证毕。

##########################################################################################

将$z_1,z_2$写成极坐标形式 $z=r(cos\theta +isin\theta )=r{e}^{i\theta }$
$$\Rightarrow g(pos)=r_2{r}_1^{pos}{e}^{i({\theta }_2+{\theta }_{1}pos)}$$
但当$|z_1|<1$时，当 $pos$很大时，词向量将收敛到零向量，即无法对任意位置都计算出合理的词向量为了避免这种情况，论文中把$|z_1|$取为1

所以
$$g(pos)=r_2{e}^{i({\theta }_2+{\theta }_{1}pos)}$$
重新记为
$$g_j(pos)=r_j{e}^{i(w_{j}pos+{\theta }_j)}$$
其中$r_j,w_j,{\theta }_j$都是可训练参数，论文通过实验发现直接将${\theta }_j$置零的效果比将其加入训练要好一点，因此我们只需要看
$$g_j(pos)=r_j{e}^{i{w}_{j}pos}$$

可解释性

1. $r_j$只和词在词表中的索引有关，表示词的含义，和普通的词向量对应。
2. $w_j$表示词对位置的敏感程度。当$w_j$很小时，同一个词在不同位置的词向量几乎是常量。这时的复值词向量对位置不敏感，和普通的不考虑位置信息的词向量相似。当$w_j$很大时，复值词向量对位置非常敏感，会随位置变化而剧烈变化。因此$w_j$可以看作是调节词向量与位置向量比重的自适应参数

图中的p=$\frac{2\pi }{w_j}$，波浪线与虚线的交点即不同pos的取值，可以看出周期p与向量对位置的敏感度相关

与Sinusoidal Position Embedding的关系
Sinusoidal Position Embedding的定义为
$$\begin{array}{rl}PE(pos,2k)& =sin(\frac{pos}{10000^{\frac{2k}{d_{model}}}})\\ PE(pos,2k+1)& =cos(\frac{pos}{10000^{\frac{2k}{d_{model}}}})\end{array}$$

将$g_{j,k}(pos)=r_{j,k}{e}^{i{w}_{j,k}\times pos}$中的$w_{j,k}$取为$\frac{1}{10000^{\frac{2k}{d_{model}}}}$，那么

$$\begin{array}{rl}{g}_{j,k}(pos)& =r_{j,k}(cos(\frac{pos}{10000^{\frac{2k}{d_{model}}}})+isin(\frac{pos}{10000^{\frac{2k}{d_{model}}}}))\\ & =r_{j,k}(PE(pos,2k+1)+iPE(pos,2k))\end{array}$$
所以一定程度上Sinusoidal Position Embedding等级于是Complex Embeddings的一种特殊情况。

• 是否可以解释Transformer中为什么要取10000，因为这个数太大的话，那么位置编码对位置就不敏感；如果太小的化，位置编码又对位置太敏感。（需要实验测一下）

实验结果

##########################################################################################

实验1：文本分类，对比了不使用位置编码，使用可学习的位置编码（PE），使用三角函数计算得到的位置编码（TPE），不使用位置编码的复值词向量（Complex-vanilla）和本文提出的复值词向量（Complex-order）五种设置下FastText，LSTM，CNN和Transformer

结论：三角 PE 与 Train PE 几乎没什么区别。 Complex order 对模型有一定提升，但不是特别多

##########################################################################################

实验2：在WMT-16 EN-DE数据集上进行了机器翻译任务的实验

结论：使用复值词向量的Transformer相比一般的Transformer有1.3个BLEU的提升

##########################################################################################

实验3：在text8数据集上进行了语言模型实验

结论：使用复值词向量的Transformer-XL相较使用词向量加位置编码的Transformer-XL有明显提升

---

位置特征与内容特征间的关系

Paper: Constituency Parsing with a Self-Attentive Encoder

尽管这篇文章主要是提出了一种新型的句法分析模型。但其中关于位置编码的实验比较有趣，这里也记录一下。

我们都知道Transformer模型里的self-attentive结构如下：

其中$x_t=w_t+p_t$，$w_t$是内容特征，$p_t$是位置特征。然后利用$x_t$分别计算$Q_t,K_t,V_t$：
$$Q_t=W_q{x}_t，K_t=W_k{x}_t，V_t=W_v{x}_t$$
最后根据attention公式：
$$SingleHead(X)=\text{SoftMax}(\frac{Q{K}^T}{{\sqrt{d}}_k})V$$
来获取带自注意力的特征。

去掉内容特征

为了了解位置特征和内容特征的relative importance，文章做了一个实验，在计算$Q_t$和$K_t$的时候，只保留了位置特征，而去掉了内容特征，而计算$V_t$仍保留了内容特征，即:
$$Q_t=W_q{p}_t，K_t=W_k{p}_t，V_t=W_v(w_t+p_t)$$
解释：相当于在计算每个词的attentive weight时，只考虑位置信息，而不考虑词语本身的信息。由于本文的任务是做句法分析，因此是在测试只考虑位置信息的attentive weight会对结果有多大的影响。

结果：F1 score只降了0.27

结论：由于多头结构的存在，即使attentive weight只考虑了位置信息，这个结构也相当于一个多层的cnn，而且value矩阵$V_t$仍保留了内容特征，因此结果应该依然不错。但是只有这么小的drop依然出乎作者意料之外。

##########################################################################################

将embedding相加改为拼接

接下来，作者猜想直接将两种特征相加，可能会让其中一种信息占主导作用，模型不能很好的找到两种特征重要性的平衡。

事实上，观察注意力权重 $\text{SoftMax}(\frac{Q{K}^T}{{\sqrt{d}}_k})$，不难发现：

$$q\cdot k=(q^w+q^p)\cdot (k^w+k^p)=q^w{k}^w+q^w{k}^p+q^p{k}^w+q^p{k}^p$$

其中的交叉项 $q^w{k}^p+q^p{k}^w$ 可能存在隐患，例如这可能会导致得到这样一个网络：单词 the 总是会特别注意句子的第 5 个位置。这种交叉注意力似乎并没有太大作用，反而会带来过拟合。

因此这个实验里，作者尝试将两种特征由相加改成拼接的方式：$x_t=[w_t;p_t]$，其他不变。

结果：比相加的方式还降了0.07个F1 score

结论：事实上，adding 和 concatenation 在高维度上的表现是差不多的，尤其是当结果会立马乘上一个矩阵之后，因为这样会混合里面的信息。

##########################################################################################

拆分位置特征和内容特征

拼接方法效果不行，文章中又尝试了一种新的分解方式，对于$x_t=[w_t;p_t]$，将参数矩阵$W$也进行拆分：
$$Q_t=W_q^w{w}_t+W_q^p{p}_t，K_t=W_k^w{w}_t+W_k^p{p}_t，V_t=W_v^w{w}_t+W_v^p{p}_t$$

包括后面的$Q\cdot K$也变成：
$$Q_t\cdot K_t=Q_t^w\cdot K_t^w+Q_t^p\cdot K_t^p=W_q^w{w}_t\cdot W_k^w{w}_t+W_q^p{p}_t\cdot W_k^p{p}_t$$

对于一个 attention head 来说，拆分后的情况如图所示，可以看成分别对 $w_t$ 和 $p_t$ 应用注意力，后续的 feed-forward 层也同样拆分。

结果：F1 score提升了约0.5

结论：表明拆分不同类型的特征确实能得到一个不错的结果。

##########################################################################################

在测试时分别disable位置特征和内容特征

为了分析模型对内容和位置注意力的利用情况，作者又做了个实验，模型训练保持不变，但是在测试阶段，把内容注意力或位置注意力人为置零，即禁用。

结论：位置注意力相当重要，但是内容注意力也有一定帮助，尤其是在最后几层

---

Reference:

1. 【工大SCIR笔记】浅谈Transformer模型中的位置表示
   
2. Encoding word order in complex embeddings (2020)
3. Constituency Parsing with a Self-Attensive Encoder