attention中计算权重值的几种方法

权重${\alpha }_i$

decoder的初始状态是encoder的最后一个状态$h_m$，在attention下，encoder的所有状态都要保留下来。首先需要计算$s_0$与encoder的每一个$h_i$的相关性（权重）${\alpha }_i=align(h_i,s_0)$。最终算出来${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$，$alph{a}_i$都是介于01之间的实数，且所有$\alpha$的和为1

计算方法

方法一（attention第一篇论文中提出的）

首先将$h_i$与$s_0$作concatenation得到一个更高维的向量。然后求矩阵$w$与这个向量的乘积，得到一个向量，然后将tanh应用于向量的每一个元素上，将每一个元素压缩到[-1,1]，将tanh的输出与$v$求内积，结果为一个实数$\widetilde{{\alpha }_i}$。
需要注意的是，图中的矩阵$w$和$v$都是参数，需要通过训练数据学习。
求出$m$个参数$\widetilde{{\alpha }_1},\widetilde{{\alpha }_2},\cdots ,\widetilde{{\alpha }_m}$需要对他们使用softmax变换(和为1)：
$$[{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m]=Softmax([\widetilde{{\alpha }_1},\widetilde{{\alpha }_2},\cdots ,\widetilde{{\alpha }_m}])$$

方法二（更常用）

1. Linear maps($W_k,W_Q$通过训练得到)：
   $k_i=W_k\cdot h_i$, for $i=1\text{ to }m$
   $q_0=W_Q\cdot s_0$
2. Inner product：
   $\widetilde{{\alpha }_i}=k_i^T{q}_0$, for $i=1\text{ to }m$
3. Normalization：
   $$[{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m]=Softmax([\widetilde{{\alpha }_1},\widetilde{{\alpha }_2},\cdots ,\widetilde{{\alpha }_m}])$$