Lecture 4 Sequence as input

Lecture 4: Sequence as input

Self-attention

Sophisticated Input

Input is a vector:

Input is a set of vectors:

Vector set as input

文字处理

假设网络的输入是一个句子，我们需要将句子中的每一个词都用一个向量来表示。那么，我们的模型输入将会是一个 Vector Set，并且每一次输入的 Vector Set 的大小会不同。将用向量来表示词汇的方法如下所示：

One-hot Encoding 建立一个很长的向量，每一个维度对应一个词汇。缺点也很明显，这种方法忽略掉了词语之间的关系（词语间语义的关系）；比如说，很难从 One-hot Encoding 中看出 cat 和 dog 都是动物这层关系。

Word Embedding 也使用向量来表示词语，但这些向量包含了语义的关系。如上图所示，可以看到“动词”、“动物”、“植物”类的词汇往往都分别聚集成一块。

音频处理

一个窗口（Window）内的音频信号可以描述成一个向量，这个向量也叫做帧（Frame），长度通常是 $25ms$；为了描述整段的音频信号，窗口会进行滑动，向后滑动 $10ms$；那么 $1s$ 内就有 $100$ 个向量。

Graph as input

What is the output?

Each vector has a label

输入和输出的长度保持一致，输入 $n$ 个 vector 就输出 $n$ 个 scalar 或 class。

Example

常见的应用：词性标注；语音辨识；社交网络中每个结点的特性。

The whole sequence has a label

无论输入有多长，都只会有一个输出。

Example

常见应用：情感分析；识别演讲人；有机物的亲水性如何。

Model decides the number of labels itself （Seq2Seq）

我们并不知道将会有多少输出，需要模型自己决定。

Sequence Labeling

本节主要关注 Each vector has a label 这一情况，又叫做 Sequence Labeling。

如果我们考虑用全连接网络来解决词性标注的问题，那将会有一个明显的问题 —— 我们期待 $saw$ 通过 FC 后输出的是动词，$saw$ 通过 FC 后输出的是名词，而对于 FC 来说，输入的 $saw$ 没有任何区别，因此它们会得到同样的输出。

为了解决上述问题，我们尝试让 FC 考虑上下文的信息，我们将前后几个相邻向量（一个 window）都输入 FC 中。那如果问题需要考虑一整个 Sequence 该怎么办呢？—— 引入 Self - attention

Self-attention

Self-attention 的处理流程如上图所示，将 Sequence 中的所有 Vector 输入 Self-attention，输入 $n$ 个 Vector 就输出 $n$ 个 Vector，且这 $n$ 个 Vector 都考虑了整个 Sequence 的信息。将这些 Vector 再输入到 FC 中，最终再输出 scalar 或者 class。

Input and output

Self-attention 的输入可以来自原始的 input vector 或者是 hidden layer 的输出。每一个输出向量 $\mathbf{b}$ 都考虑了输入向量 $\mathbf{a}$。接下来将详细解释输出向量 ${\mathbf{b}}^1$ 的产生过程。

计算 $\alpha$:

首先，根据 $a^1$ 找出这个 sequence 中所有与 $a^1$ 相关的向量，sequence 中其余向量与 $a^1$ 的关联程度用 $\alpha$ 表示。那么，$\alpha$ 如何计算呢？引入计算 attention 的模组。

Dot-product

两个输入向量分别乘上矩阵 $W^q$ 和 $W^k$ 得到向量 $\mathbf{q}$ 和 $\mathbf{k}$，$\alpha =\mathbf{q}\cdot \mathbf{k}$。Transformer 中使用的是这种方法。

Additive

两个输入向量分别乘上矩阵 $W^q$ 和 $W^k$ 得到向量 $\mathbf{q}$ 和 $\mathbf{k}$，将这两个向量连接起来输入到激活函数中，再经过一个 Transform 得到 $\alpha$。

如上图所示，${\mathbf{a}}^1$ 乘上 ${\mathrm{W}}^q$ 作为 query ${\mathbf{q}}^1$，${\mathbf{a}}^1,{\mathbf{a}}^2,{\mathbf{a}}^3$ 都乘上 ${\mathrm{W}}^k$ 作为 key ${\mathbf{k}}^2,{\mathbf{k}}^3,{\mathbf{k}}^4$。 ${\mathbf{q}}^1$ 分别和 ${\mathbf{k}}^2,{\mathbf{k}}^3,{\mathbf{k}}^4$ 做点积得到 ${\alpha }_{1,2},{\alpha }_{1,3},{\alpha }_{1,4}$，这些 $\alpha$ 也叫做 attention score。

计算 ${\mathbf{b}}^1$：

在实际操作中，我们也需要计算 ${\alpha }_{1,1}$，也就是 ${\mathbf{q}}^1$ 和 ${\mathbf{k}}^1$ 都由 ${\mathbf{a}}^1$ 分别乘上矩阵 ${\mathrm{W}}^q,{\mathrm{W}}^k$ 得到（需要计算自己和自己的相关性），其余的 $\alpha$ 计算方式同上。最后通过 $softmax$ 得到 ${\alpha }_{1,i}^{\prime }$，即 ${\alpha }_{1,i}^{\prime }=\exp ({\alpha }_{1,i})/{\sum }_j\exp ({\alpha }_{1,j})$。

得到 ${\alpha }_{1,i}^{\prime }$ 后，我们需要根据 ${\alpha }_{1,i}^{\prime }$ 来抽取出 sequence 中重要的信息。如下图所示，对于每个 $\mathbf{a}$ 都乘上矩阵 ${\mathrm{W}}^v$ 得到向量 $\mathbf{v}$；接下来，用 attention score 乘上每个 $\mathbf{v}$ 再求和就得到了 ${\mathbf{b}}^1$，即 ${\mathbf{b}}^1={\sum }_i{\alpha }_{1,i}^{\prime }{\mathbf{v}}^i$。哪一个 ${\alpha }_{1,i}^{\prime }$ 大，那么 $\mathbf{b}$ 就会越接近该 $\mathbf{v}$ 向量。

计算 ${\mathbf{b}}^2$ 的过程也类似，${\mathbf{b}}^2={\sum }_i{\alpha }_{2,i}^{\prime }{\mathbf{v}}^i$。总之，要计算 ${\mathbf{b}}^i$，首先，由 ${\mathbf{a}}^i$ 和矩阵 ${\mathrm{W}}^q,{\mathrm{W}}^k,{\mathrm{W}}^v$ 计算 ${\mathbf{q}}^i,{\mathbf{k}}^i,{\mathbf{v}}^i$；再由 ${\mathbf{q}}^i,{\mathbf{k}}^j$ 计算出 ${\alpha }_{i,j}$，再通过 $softmax$ 得到 ${\alpha }_{i,j}^{\prime }$（attention score）；最后得到 ${\mathbf{b}}^i={\sum }_j{\alpha }_{i,j}^{\prime }{\mathbf{v}}_j$。

Self-attention in the view of matrix multiplication

Step 1: 计算 ${\mathbf{q}}^i,{\mathbf{k}}^i,{\mathbf{v}}^i$

我们已经知道了需要 ${\mathbf{a}}^i$ 和矩阵 ${\mathrm{W}}^q,{\mathrm{W}}^k,{\mathrm{W}}^v$ 计算 ${\mathbf{q}}^i,{\mathbf{k}}^i,{\mathbf{v}}^i$。接下来通过矩阵乘法的角度来看self-attention。

如上图所示，我们可以将 ${\mathbf{a}}^i$ 拼接起来记作 $\mathbf{I}$（input），因此与矩阵 ${\mathrm{W}}^q,{\mathrm{W}}^k,{\mathrm{W}}^v$ 作矩阵乘法得到 $\mathbf{Q},\mathbf{K},\mathbf{V}$（分别是 ${\mathbf{q}}^i,{\mathbf{k}}^i,{\mathbf{v}}^i$ 拼接的结果）。

Step 2: 计算 $\alpha$

我们已经知道了 attention score 的计算方式，如上图所示，${\alpha }_{1,i}$ 由 ${\mathbf{q}}^1$ 和 ${\mathbf{k}}^i$ 做内积得到。还是通过矩阵乘法的角度，上述的过程可以看作：

继续扩展：

attention score 的矩阵 $\mathbf{A}$ 是由 ${\mathbf{K}}^{\mathrm{T}},\mathbf{Q}$ 做矩阵乘法得到，即 $\mathbf{A}={\mathbf{K}}^{\mathrm{T}}\mathbf{Q}$；attention score 再标准化一下（这里选择 $softmax$）得到矩阵 ${\mathbf{A}}^{\prime }$（attention matrix）。

Step 3: 计算 ${\mathbf{b}}^i$

如上图所示，我们已经知道了 ${\mathbf{b}}^i={\sum }_j{\alpha }_{i,j}^{\prime }{\mathbf{v}}_j$，接下来用矩阵乘法的角度来看这一过程。

如上图所示，利用矩阵乘法得到 ${\mathbf{b}}^i$ 组成的矩阵 $\mathbf{O}$（output），也就是 self-attention 最终的输出。

Brief Summary

计算 ${\mathbf{q}}^i,{\mathbf{k}}^i,{\mathbf{v}}^i$：

计算 $\alpha$:

计算 ${\mathbf{b}}^i$:

虽然 self-attention 这一系列操作做下来会有些复杂，但仅有矩阵 ${\mathrm{W}}^q,{\mathrm{W}}^k,{\mathrm{W}}^v$ 是需要训练学习到的参数。

Multi-head Self-attention

在翻译、语音识别，利用 multi-head 可能会有较好的结果。为什么需要 multi-head？在做 self-attention 的时候，我们在用 $\mathbf{q}$ 去找相关的 $\mathbf{k}$，而向相关的种类有很多种，因此我们需要不同的 $\mathbf{q}$ 负责不同种类的相关性。

以 $2$ 头为例，${\mathbf{q}}^i,{\mathbf{k}}^i,{\mathbf{v}}^i$ 分别乘上两个矩阵得到 ${\mathbf{q}}^{i,1},{\mathbf{q}}^{i,2};{\mathbf{k}}^{i,1},{\mathbf{k}}^{i,2},{\mathbf{v}}^{i,1},{\mathbf{v}}^{i,2}$。计算 self-attention 的步骤类似，但多头之间的计算仅涉及一类。如上图所示，计算 ${\mathbf{b}}^{i,1}$，首先分别计算出 ${\mathbf{q}}^{i,1}$ 与 ${\mathbf{k}}^{i,1}$ 和 ${\mathbf{k}}^{j,1}$ 的 attention score，接下来将这两个 attention score 分别乘上 ${\mathbf{v}}^{i,1},{\mathbf{v}}^{j,1}$ 再进行 $\text{weighted sum}$ 到一起就是 ${\mathbf{b}}^{i,1}$。

类似地，${\mathbf{q}}^{i,2}$ 只会和 ${\mathbf{k}}^{i,2},{\mathbf{k}}^{j,2},{\mathbf{v}}^{i,2},{\mathbf{v}}^{j,2}$ 进行计算得到 ${\mathbf{b}}^{i,2}$。如果有更多的头，顺推即可。

当得到 ${\mathbf{b}}^{i,1},{\mathbf{b}}^{i,2}$ 后，可以将它们拼在一起，再乘上一个矩阵（进行 transform）就可以传到网络的下一层：

Positional Encoding

在 self-attention 的操作中，忽略掉了位置信息；（每一个 input 出现在最前面还是最后面是不知道的）—— 引入 Positional Encoding 技术。

为每一个位置都设置一个唯一的位置向量（positional vector）$e^i,\text{i means position}$，一种做法是将 $e^i$ 加到输入 $a^i$ 上：

$e^i$ 的可能取值（Attention is all you need）：

Applications of self-attention

NLP

Speech

Image

Self-attention v.s. CNN

On the Relationship between Self-Attention and Convolutional Layers

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale