为什么Transformer / ViT 中的Position Encoding能和Feature Embedding直接相加?

前言

刚开始学习Transformer / ViT的时候会发现为什么作者会将Position Encoding直接和Feature Embedding相加?当时的第一反应是,为什么不是concat,因为两者分明是两种异构的信息,为什么能放在一起相加呢?不应该concat才合理么?最近对一些工作做收尾的时候发现了这个后来被我遗漏的问题。(如果不知道Position Encoding是啥的建议先去阅读一下原论文)

问题

从向量空间的角度来看,我原本有一个Feature Embedding向量矩阵,我再加上一个Position Encoding,那不就意味着我原本的Feature Embedding向量的大小和方向都发生了变化么?而Positon Encoding代表的是Feature Embedding中的每个feature的相对/绝对位置,直觉上来讲,在通道维上concat是一个符合深度学习逻辑的操作,那么为什么原文作者最后选择了直接对两者做相加呢?

推理

以语句为例,首先,我们先尝试用concat的方法。我们给原始输入向量的每个位置x^i \in R^{(d,1)} concat上一个代表位置信息的向量p^i \in R^{(N,1)} (N代表共有N个位置)形成x^i_p \in R^{(d+N, 1)},它也可以表示为[[x^i]^T, [x^p]^T]^T这个形式。

接着,对这个新形成的向量做变化,比如linear projection。

记变换矩阵 W \in R^{(d, d+N)}d 就是需要变换到的维度(这里为了方便,直接假设原输入的维度与嵌入维度一致,都是d),它也可以表示为[W^I, W^P],其中W^I \in R^{d,d}, W^P \in R^{d,N}

现在进行变换:

W \cdot x_p^i = [W^I, W^P] \cdot [[x^i]^T, [x^p]^T]^T = W^I \cdot x^i + W^P \cdot x^p = embed^i + pos^i

其中,embed^i就是对原始输入做了嵌入之后的向量,而pos^i就是对位置向量做了嵌入之后的表示。即 Feature Embedding 和 Position Encoding。

于是,由变换结果可知,在原始向量上concat一个代表位置信息的向量,再经过变换,最终的效果等价于:先对原始输入向量做变换,然后再加上位置嵌入。

另一方面,concat会使网络进入深层之后参数量剧增,这是很不划算的。

你可能感兴趣的:(深度学习,Transformer,数学,transformer,深度学习,人工智能)