Multi-head attention with DR

注意力机制的核心部分是通过计算$K$(键)序列与$q$(查询)的相关性，来得到注意力权重a(通过一定的映射关系$f$): $a=f(q.K)$。具体来说，$Attention(Q,K,V)$函数在输入矩阵 Q、K 和 V 的情况下可计算 Query 序列与 Value 序列之间的注意力关系。其中 Q 的维度为 $n\times d_k$，表示有 $n$ 条维度为 $d_k$ 的 Query、$K$ 的维度为 $m\times d_k$、$V$ 的维度为 $m\times d_v$。这三个矩阵的乘积可得出 $n\times d_v$ 维的矩阵，它表示 有$n$ 条 Query 对应注意到的 Value 向量

在实际论文的表述里或者开展的实验中，$K$是词嵌入向量或模型的隐藏层状态向量$h_t$；$q$是计算注意力分配多少的参考(reference)。本质上就是通过多次$QK$得到多个权重$a_{ijk...}$，(就有了分布函数），再利用权重的分布对$V$加权。最基础的例子比如：

多头注意力，就是在上面$Attention(Q,K,V)$里，获得了$h$个不同版本的$Q,K,V$，$$\text{MultiHead}(Q,K,V)=\text{Concat}(\text{head1},...,{\text{head}}_h){\mathbf{W}}^O$$$${\text{head}}_i=\text{Attention}(\mathbf{Q}{\mathbf{W}}_i^Q,\mathbf{K}{\mathbf{W}}_i^K,\mathbf{V}{\mathbf{W}}_i^V)$$$$\text{Attention}(\mathbf{Q},\mathbf{K},\mathbf{V})=\text{softmax}(\frac{\mathbf{Q}{\mathbf{K}}^T}{\sqrt{d_k}})\mathbf{V}$$
我们记$\mathbf{Q}{\mathbf{W}}_i^Q=Q^i,\mathbf{K}{\mathbf{W}}_i^K=K^i,\mathbf{V}{\mathbf{W}}_i^V=V^i,i\in [1,h]$,
${\mathbf{W}}_i^Q,{\mathbf{W}}_i^K,{\mathbf{W}}_i^V$称为transformation matrics

如果我们把这些注意头可以看作是从不同角度对序列中同一实体的不同观察结果（权重），那么是否可以尝试从h个注意力头$u_i$中找到一个最合适的$v$。$u_i=\text{softmax}(\frac{{\mathbf{Q}}_{\mathbf{i}}{{\mathbf{K}}_{\mathbf{i}}}^T}{\sqrt{d_k}}){\mathbf{V}}_{\mathbf{i}}$
这不禁让人想入非非产生联想，在胶囊网络中，我们知道，对于v in v out的capsule，识别图片中的某一组件(component)的旋转不变性，是通过对该组件的feature与Pose向量做transformation。而我们知道，如果输入的是对同一实体在语言学上的不同描述，那么利用路由机制，就可以决定不同描述的information中谁能流向下一层胶囊层，进而是否可以利用这一性质，对上述h个头进行路由选择呢？

首先，通过将输入胶囊ui乘以表示部分和整体之间的视点不变关系的学习转换矩阵Wij来计算投票:
$u_i$是多头注意力机制的权值分布，$W_{i}j$是“部分”和“整体”的视点不变关系转换矩阵（为啥叫这个名字我也不知道…）$${\hat{u}}_{j|i}=W_{ij}{u}_i$$
然后计算并更新输出胶囊$v$和vote $\hat{u}$，以及它们之间的分配概率$c$，$c$路由迭代中的归一化操作中的量，将输出归一化到下一层的输入胶囊:$v=f(\hat{u},c)$,$c=Update(\hat{u},v)$

最后，将输出胶囊v串联在一起，送入前馈网络(FFN)，该网络由两个线性变换层组成，线性变换层中通过ReLU完成激活。$$FFN(x)=max(0,x{W}_1+b_1)W_2+b_2$$

另外，通过添加了层$u$和$v$之间的剩余连接后，最终的输出是:$$O+FFN(v)$$添加剩余连接就是用Concatenate操作实现：

Dynamic Routing

我们把所有这些加权vote向量加起来，得到胶囊类型输出向量$$s_j=\sum _i{c}_{ij}{\hat{u}}_{j|i}$$其中$c_{ij}=\frac{exp(b_{ij})}{{\sum }_{k}exp(b_{ik})}$,其中$b_{ij}$初值=0
然后就和动态路由一样，用$s_j$启动squash：$$v_j=\frac{||s_j|{|}^2}{1+||s_j|{|}^2}\frac{s_j}{||s_j||}$$

初始的coefficients$b_{ij}$是胶囊输入值${\hat{u}}_{j|i}$和每个胶囊输出值$v_j$两者的点积（点积衡量相似性，也即coefficients代表输入和输出的相似度，聚类的思想）