self-attention机制中Q、K和V的计算

在self-attention机制中，$Q$、$K$和$V$都是通过对输入向量进行线性映射得到的。

具体地，对于一个输入的序列：

$\mathbf{x}=[{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_n]$

可以分别使用三个不同的可训练的参数矩阵：

$\mathbf{W}Q\in {\mathbb{R}}^{d\text{model}\times d}$、$\mathbf{W}K\in {\mathbb{R}}^{d\text{model}\times d}$ 和 $\mathbf{W}V\in {\mathbb{R}}^{d\text{model}\times d}$

其中可训练的参数矩阵它们的维度通常为d_model x d_k，其中d_model是模型中的隐藏表示维度，d_k是Q、K、V中的一个的维度。这三个参数矩阵在模型初始化时通过随机数生成，并且可以在训练过程中进行优化和更新，以最小化模型的损失函数。具体来说，这些参数矩阵可以采用常见的初始化方法，例如在一定范围内随机生成的均匀分布或高斯分布，以确保参数的多样性和表达能力。

对每个输入向量 ${\mathbf{x}}_i$ 进行线性变换，得到对应的查询向量 ：

${\mathbf{q}}_i={\mathbf{W}}_Q{\mathbf{x}}_i$，键向量 ${\mathbf{k}}_i={\mathbf{W}}_K{\mathbf{x}}_i$ 和值向量 ${\mathbf{v}}_i={\mathbf{W}}_V{\mathbf{x}}_i$

这样，每个位置都可以对应一个查询、一个键和一个值，即：

$\mathbf{q}=[{\mathbf{q}}_1,{\mathbf{q}}_2,\dots ,{\mathbf{q}}_n]$、$\mathbf{k}=[{\mathbf{k}}_1,{\mathbf{k}}_2,\dots ,{\mathbf{k}}_n]$ 和 $\mathbf{v}=[{\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_n]$。

得到这些向量之后，就可以根据self-attention的计算方式，计算出每个位置对应的输出向量了。