Transformer中使用的position embedding为什么是加法而不是concat

transformer中使用的position embedding为什么是加法

给每一个位置 $x^i\in R^{(d,1)}$ concat 上一个代表位置信息的 one-hot 向量 $p^i\in R^{(N,1)}$ (N代表共有 $\mathrm{N}$ 个位置）形成 $x_p^i\in R^{(d+N,1)}$, 它也可以表示为 ${\left[{\left[x^i\right]}^T,{\left[x^p\right]}^T\right]}^T$ 这个形式。
接着对这个新形成的向量做线性变换, 即上述提到的 Transformer 对原始输入做的嵌入操作。记 变换矩阵 $W\in R^{(d,d+N)},d$ 就是需要嵌入到的维度（这里为了简便, 直接假设原输入的维度与 嵌入维度一致, 都是 $d)$, 它也可以表示为 $\left[W^I,W^P\right]$, 其中 $W^I\in R^{(d,d)},W^P\in R^{(d,N)}$ 。 现在进行变换：
$W\cdot x_p^i=\left[W^I,W^P\right]\cdot {\left[{\left[x^i\right]}^T,{\left[x^p\right]}^T\right]}^T=W^I\cdot x^i+W^P\cdot x^p=embe{d}^i+$ pos ${}^i$
由变换结果可知, 在原输入上 concat一个代表位置信息的向量在经过线性变换后等同于 将原输 入经线性变换后直接加上位置编码信息。

参考