Self-Attention:初步理解

Self-Attention 的基本结构与计算 Attention(注意力)实际上就是权重的另一种应用的称呼,其具体结构与初始输入的 content $\vec{x_{1}}, \vec{x_{2}}, \cdots, \vec{x_{n}} \in \mathcal{X}$ 紧密相关。其中, $\

你可能感兴趣的:(Self-Attention:初步理解)