动手学深度学习（四十四）——Seq2Seq原理与实现

一、什么是seq2seq（ 序列到序列的学习）

  使用两个RNN设计Encoder-Decoder结构，并将其应用于机器翻译Sutskever.Vinyals.Le.2014,Cho.Van Merrienboer.Gulcehre.ea.2014。RNN的Encoder可以使用长度可变的序列作为输入，将其转换成固定长度的隐藏状态。

  换言之，输入序列（源）的信息被 编码 到循环神经网络编码器的隐藏状态中。为了一个接着一个的生成输出序列的标记，独立的循环神经网络解码器是基于输入序列的编码信息和输出序列已经生成的标记（例如在语言模型的任务中）来预测下一个标记。下图演示了如何在机器翻译伤中使用两个循环神经网络进行序列到序列学习。

  在上图中，特定的“”表示序列结束标记。一旦输出序列生成此标记，模型就可以停止执行预测。在循环神经网络解码器的初始化时间步，有两个特定的设计决定。首先，特定的“”表示序列开始标记，它是解码器的输入序列的第一个标记。其次，使用循环神经网络编码器最终的隐藏状态来初始化解码器的隐藏状态。在例如Sutskever.Vinyals.Le.2014 的设计中，正是基于这种设计将输入序列的编码信息送入到解码器中来生成输出序列（目标）的。在其他一些例如Cho.Van-Merrienboer.Gulcehre.ea.2014 的设计中，在每个时间步中，编码器最终的隐藏状态都作为解码器的输入序列的一部分，如上图所示。类似于语言模型中训练的语言模型，可以允许标签成为原始的输出序列，基于一个个标记“”、“Ils”、“regardent”、“.” $\to$ “Ils”、“regardent”、“.”、“”来移动预测的位置。

细节：

• 编码器是一个RNN，读取输入句子（可以是双向的）
• 解码器使用另一个RNN来输出
• 编码器是没有输出的RNN
• 编码器最后时间步的隐藏状态用作解码器的初始隐藏状态

二、动手实现Seq2Seq

import collections
import math 
import torch 
from torch import nn
from d2l import torch as d2l

1. 编码器

  从技术上讲，编码器将长度可变的输入序列转换成形状固定的 上下文变量 $\mathbf{c}$，并且将输入序列的信息在该上下文变量中进行编码。如seq2seq的示意图中所示，可以使用循环神经网络来设计编码器。

  让我们考虑一个序列样本（批量大小：1）。假设输入序列是 $x_1,\dots ,x_T$，其中 $x_t$ 是输入文本序列中的第 $t$ 个标记。在时间步 $t$，循环神经网络将 $x_t$（即输入特征向量 ${\mathbf{x}}_t$）和 ${\mathbf{h}}_{t-1}$（即上一时间步的隐藏状态）转换为 ${\mathbf{h}}_t$（即当前隐藏状态）。使用一个函数 $f$ 来描述循环神经网络层所做的变换：

$${\mathbf{h}}_t=f({\mathbf{x}}_t,{\mathbf{h}}_{t-1}).$$

总之，编码器通过选定的函数 $q$ 将所有时间步的隐藏状态转换为上下文变量(写成这样其实是为了更好理解后面的注意力机制)：

$$\mathbf{c}=q({\mathbf{h}}_1,\dots ,{\mathbf{h}}_T).$$

例如，当选择 $q({\mathbf{h}}_1,\dots ,{\mathbf{h}}_T)={\mathbf{h}}_T$ 时，上下文变量仅仅是输入序列在最后时间步的隐藏状态 ${\mathbf{h}}_T$。

  到目前为止，我们使用的是一个单向循环神经网络来设计编码器，其中隐藏状态只依赖于输入子序列，这个子序列是由输入序列的开始位置到隐藏状态所在的时间步的位置（包括隐藏状态所在的时间步）组成。我们也可以使用双向循环神经网络构造编码器，其中隐藏状态依赖于两个输入子序列，两个子序列是由隐藏状态所在的时间步的位置之前的序列和之后的序列（包括隐藏状态所在的时间步），因此隐藏状态对整个序列的信息都进行了编码。现在实现循环神经网络编码器。注意，使用 嵌入层（embedding layer）来获得输入序列中每个标记的特征向量。嵌入层的权重是一个矩阵，其行数等于输入词表的大小（vocab_size），列数等于特征向量的维度（embed_size）。对于任何输入标记的索引 $i$，嵌入层获取权重矩阵的第 $i$ 行（从 $0$ 开始）以返回其特征向量。另外，本文选择了一个多层门控循环单元来实现编码器。

class Seq2SeqEncoder(d2l.Encoder):
    """用于序列到序列学习的RNN网络编码器"""
    def __init__(self,vocab_size,embed_size,num_hiddens,num_layers,dropout=0,**kwargs):
        super(Seq2SeqEncoder,self).__init__(**kwargs)
        # 嵌入层
        # embedding是对每个词语进行词向量分割，embed_size是舍弃不常用的词
        self.embedding = nn.Embedding(vocab_size,embed_size)
        self.rnn = nn.GRU(embed_size,num_hiddens,num_layers,dropout=dropout)
    
    def forward(self,X,*args):
        # 输出'X'的形状：(`batch_size`, `num_steps`, `embed_size`)
        X = self.embedding(X)
        # 在循环神经网络模型中，第一个轴对应于时间步
        X = X.permute(1, 0, 2)
        # 如果未提及状态，则默认为0
        output, state = self.rnn(X)
        # `output`的形状: (`num_steps`, `batch_size`, `num_hiddens`)
        # `state[0]`的形状: (`num_layers`, `batch_size`, `num_hiddens`)
        return output, state

# 构建一个隐藏单元为16的两层GRU编码器。给定一个小批量序列输入X（批量大小4，时间步7），
# 最后一层的隐藏状态在完成所有的时间步后输出一个张量（时间步数，批量大小，隐藏单元数）
# 最后一个时间步的多层隐藏状态形状是（隐藏层的数量，批量大小，隐藏单元的数量）
encoder = Seq2SeqEncoder(vocab_size=10,embed_size=8,num_hiddens=16,num_layers=2)
encoder.eval() # dropout不生效
X = torch.zeros((4,7),dtype=torch.long)
output,state = encoder(X)
output.shape,state.shape

(torch.Size([7, 4, 16]), torch.Size([2, 4, 16]))

2. 解码器

  正如上文提到的，编码器输出的上下文变量 $\mathbf{c}$ 对整个输入序列 $x_1,\dots ,x_T$ 进行编码。来自训练数据集的输出序列 $y_1,y_2,\dots ,y_{T^{\prime }}$，对于每个时间步 $t^{\prime }$（与输入序列或编码器的时间步 $t$ 不同），解码器输出 $y_{t^{\prime }}$ 的概率取决于先前的输出子序列 $y_1,\dots ,y_{t^{\prime }-1}$ 和上下文变量 $\mathbf{c}$，即 $P(y_{t^{\prime }}\mid y_1,\dots ,y_{t^{\prime }-1},\mathbf{c})$。

  为了在序列上将这种条件概率模型化，我们可以使用另一个循环神经网络作为解码器。在输出序列上的任何时间步 $t^{\prime }$，循环神经网络将来自上一时间步的输出 $y_{t^{\prime }-1}$ 和上下文变量 $\mathbf{c}$ 作为其输入，然后在当前时间步将它们和上一隐藏状态 ${\mathbf{s}}_{t^{\prime }-1}$ 转换为隐藏状态 ${\mathbf{s}}_{t^{\prime }}$。因此，可以使用函数 $g$ 来表示解码器的隐藏层的变换：

$${\mathbf{s}}_{t^{\prime }}=g(y_{t^{\prime }-1},\mathbf{c},{\mathbf{s}}_{t^{\prime }-1}).$$

  在获得解码器的隐藏状态之后，我们可以使用输出层和 softmax 操作来计算时间步 $t^{\prime }$ 处输出的条件概率分布 $P(y_{t^{\prime }}\mid y_1,\dots ,y_{t^{\prime }-1},\mathbf{c})$。

  根据公式当实现解码器时，我们直接使用编码器最后一个时间步的隐藏状态来初始化解码器的隐藏状态。这就要求循环神经网络编码器和循环神经网络解码器具有相同数量的层和隐藏单元。为了进一步包含经过编码的输入序列的信息，上下文变量在所有的时间步与解码器的输入进行拼接（concatenate）。为了预测输出标记的概率分布，在循环神经网络解码器的最后一层使用全连接层来变换隐藏状态。

class Seq2SeqDecoder(d2l.Decoder):
    """用于序列到序列学习的循环神经网络解码器。"""
    def __init__(self,vocab_size,embed_size,num_hiddens,num_layers,dropout=0,**kwargs):
        super(Seq2SeqDecoder,self).__init__(**kwargs)
        self.embedding = nn. Embedding(vocab_size,embed_size)
        # 注意这里假设了encoder和decoder的隐藏层大小是相同的
        self.rnn = nn.GRU(embed_size+num_hiddens,num_hiddens,num_layers,dropout=dropout)
        self.dense = nn.Linear(num_hiddens,vocab_size)
    
    def init_state(self,enc_outputs,*args):
        return enc_outputs[1]
    
    def forward(self,X,state):
        # 输出'X'的形状：(`batch_size`, `num_steps`, `embed_size`)
        X = self.embedding(X).permute(1, 0, 2)
        # 广播 `context`，使其具有与`X`相同的 `num_steps`
        context = state[-1].repeat(X.shape[0], 1, 1)
        X_and_context = torch.cat((X, context), 2)
        output, state = self.rnn(X_and_context, state)
        output = self.dense(output).permute(1, 0, 2)
        # `output`的形状: (`batch_size`, `num_steps`, `vocab_size`)
        # `state[0]`的形状: (`num_layers`, `batch_size`, `num_hiddens`)
        return output, state

# 举例说明Decoder
decoder = Seq2SeqDecoder(vocab_size=10, embed_size=8, num_hiddens=16,
                         num_layers=2)
decoder.eval()
state = decoder.init_state(encoder(X))
output, state = decoder(X, state)
output.shape, state.shape

(torch.Size([4, 7, 10]), torch.Size([2, 4, 16]))

上诉encoder-decoder的过程可以描述为：

3. 损失函数

  每个时间步，解码器预测输出标记的概率分布，可以使用softmax获取分布，使用交叉熵损失函数来优化。在机器翻译中我们说到，特定的填充标记被添加到序列的末尾，因此不同长度的序列可以以相同形状的小批量加载。但是，应该将填充标记的预测排除在损失计算之外。

  为此，我们可以用零值屏蔽不相关的项，以便后面计算任何不相关的预测与零的乘积都等于零。例如，如果两个序列的有效长度（不包括填充标记）分别为1和2，则第一项和前两项之后的剩余项将被清除为零。

def sequence_mask(X, valid_len, value=0):
    """在序列中屏蔽不相关的项。"""
    maxlen = X.size(1)
    mask = torch.arange((maxlen), dtype=torch.float32,
                        device=X.device)[None, :] < valid_len[:, None]
    X[~mask] = value
    return X

# 默认用0填充
X = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(sequence_mask(X, torch.tensor([1, 2])))

# 也可以指定用什么填充
X = torch.ones(2, 3, 4)
print(sequence_mask(X, torch.tensor([1, 2]), value=-1))

tensor([[1, 0, 0],
        [4, 5, 0]])
tensor([[[ 1.,  1.,  1.,  1.],
         [-1., -1., -1., -1.],
         [-1., -1., -1., -1.]],

        [[ 1.,  1.,  1.,  1.],
         [ 1.,  1.,  1.,  1.],
         [-1., -1., -1., -1.]]])

# 通过扩展softmax交叉熵来遮蔽不相关的预测。最初，所有的预测标记掩码都是1，一旦给定有效长度
# 与填充标记对应的掩码都被设置为0，最后所有的标记的损失乘以掩码就过滤了不相关的预测
class MaskedSoftmaxCELoss(nn.CrossEntropyLoss):
    """带遮蔽的Softmax交叉熵损失函数"""
    # `pred` 的形状：(`batch_size`, `num_steps`, `vocab_size`)
    # `label` 的形状：(`batch_size`, `num_steps`)
    # `valid_len` 的形状：(`batch_size`,)
    def forward(self,pred,label,valid_len):
        weights = torch.ones_like(label)
        weights = sequence_mask(weights,valid_len)
        self.reduction = 'none'
        unweighted_loss = super(MaskedSoftmaxCELoss,self).forward(pred.permute(0,2,1),label)
        weighted_loss = (unweighted_loss * weights).mean(dim=1)
        return weighted_loss
    
loss = MaskedSoftmaxCELoss()
pred=torch.ones(3,4,10)
label = torch.ones(3,4,dtype=torch.long)
valid_len = torch.tensor([4,2,0])
label,pred,loss(pred,label,valid_len)

(tensor([[1, 1, 1, 1],
         [1, 1, 1, 1],
         [1, 1, 1, 1]]),
 tensor([[[1., 1., 1., 1., 1., 1., 1., 1., 1., 1.],
          [1., 1., 1., 1., 1., 1., 1., 1., 1., 1.],
          [1., 1., 1., 1., 1., 1., 1., 1., 1., 1.],
          [1., 1., 1., 1., 1., 1., 1., 1., 1., 1.]],
 
         [[1., 1., 1., 1., 1., 1., 1., 1., 1., 1.],
          [1., 1., 1., 1., 1., 1., 1., 1., 1., 1.],
          [1., 1., 1., 1., 1., 1., 1., 1., 1., 1.],
          [1., 1., 1., 1., 1., 1., 1., 1., 1., 1.]],
 
         [[1., 1., 1., 1., 1., 1., 1., 1., 1., 1.],
          [1., 1., 1., 1., 1., 1., 1., 1., 1., 1.],
          [1., 1., 1., 1., 1., 1., 1., 1., 1., 1.],
          [1., 1., 1., 1., 1., 1., 1., 1., 1., 1.]]]),
 tensor([2.3026, 1.1513, 0.0000]))

4. 训练

def train_seq2seq(net,data_iter,lr,num_epochs,tgt_vocab,device):
    """训练序列到网络模型"""
    def xavier_init_weights(m):
        if type(m) == nn.Linear:
            nn.init.xavier_uniform_(m.weight)
        if type(m) == nn.GRU:
            for param in m._flat_weights_names:
                if "weight" in param:
                    nn.init.xavier_uniform_(m._parameters[param])
    net.apply(xavier_init_weights)
    net.to(device)
    optimizer = torch.optim.Adam(net.parameters(),lr=lr)
    loss = MaskedSoftmaxCELoss()
    net.train()
    animator = d2l.Animator(xlabel='epoch', ylabel='loss',
                            xlim=[10, num_epochs])
    for epoch in range(num_epochs):
        timer = d2l.Timer()
        metric = d2l.Accumulator(2)  # 训练损失总和，标记数量
        for batch in data_iter:
            X,X_valid_len,Y,Y_valid_len = [x.to(device) for x in batch]
            # 加入一个begin of sentense
            bos = torch.tensor([tgt_vocab['']]*Y.shape[0],device=device).reshape(-1,1)
            # 将input全部数据后移
            dec_input = torch.cat([bos,Y[:,:-1]],1) #教师强制，teacher force
            # 预测其实是没有用到X_valid_len的，求误差才会用到
            Y_hat, _ = net(X, dec_input, X_valid_len)
            l = loss(Y_hat, Y, Y_valid_len)
            l.sum().backward()  # 损失函数的标量进行“反传”
            d2l.grad_clipping(net, 1)
            num_tokens = Y_valid_len.sum()
            optimizer.step()
            with torch.no_grad():
                metric.add(l.sum(), num_tokens)
        if (epoch + 1) % 10 == 0:
            animator.add(epoch + 1, (metric[0] / metric[1],))
    print(f'loss {metric[0] / metric[1]:.3f}, {metric[1] / timer.stop():.1f} '
          f'tokens/sec on {str(device)}')

# 定义超参数进行训练
embed_size, num_hiddens, num_layers, dropout = 32, 32, 2, 0.1
batch_size, num_steps = 64, 10
lr, num_epochs, device = 0.005, 300, d2l.try_gpu()

train_iter, src_vocab, tgt_vocab = d2l.load_data_nmt(batch_size, num_steps)
encoder = Seq2SeqEncoder(len(src_vocab), embed_size, num_hiddens, num_layers,
                         dropout)
decoder = Seq2SeqDecoder(len(tgt_vocab), embed_size, num_hiddens, num_layers,
                         dropout)
net = d2l.EncoderDecoder(encoder, decoder)
train_seq2seq(net, train_iter, lr, num_epochs, tgt_vocab, device)

loss 0.019, 21070.0 tokens/sec on cuda:0

5. 预测

def predict_seq2seq(net, src_sentence, src_vocab, tgt_vocab, num_steps,
                    device, save_attention_weights=False):
    """序列到序列模型的预测"""
    # 在预测时将`net`设置为评估模式
    net.eval()
    src_tokens = src_vocab[src_sentence.lower().split(' ')] + [src_vocab['']]
    enc_valid_len = torch.tensor([len(src_tokens)], device=device)
    src_tokens = d2l.truncate_pad(src_tokens, num_steps, src_vocab[''])
    # 添加批量轴
    enc_X = torch.unsqueeze(torch.tensor(src_tokens, dtype=torch.long, device=device), dim=0)
    enc_outputs = net.encoder(enc_X, enc_valid_len)
    dec_state = net.decoder.init_state(enc_outputs, enc_valid_len)
    # 添加批量轴
    dec_X = torch.unsqueeze(torch.tensor([tgt_vocab['']], dtype=torch.long, device=device),dim=0)
    output_seq, attention_weight_seq = [], []
    for _ in range(num_steps):
        Y, dec_state = net.decoder(dec_X, dec_state)
        # 我们使用具有预测最高可能性的标记，作为解码器在下一时间步的输入
        dec_X = Y.argmax(dim=2)
        pred = dec_X.squeeze(dim=0).type(torch.int32).item()
        # 保存注意力权重（稍后讨论）
        if save_attention_weights:
            attention_weight_seq.append(net.decoder.attention_weights)
        # 一旦序列结束标记被预测，输出序列的生成就完成了
        if pred == tgt_vocab['']:
            break
        output_seq.append(pred)
    return ' '.join(tgt_vocab.to_tokens(output_seq)), attention_weight_seq

6. 预测和评估

  我们可以通过与标签序列（真实标签）进行比较来评估预测序列。虽然最初 BLEU（Bilingual Evaluation Understudy）的提出是用于评估机器翻译的结果
Papineni.Roukos.Ward.ea.2002 ，但现在它已经被广泛用于测量多种应用的输出序列的质量。对于预测序列中的任意 $n$ 元语法（n-grams），BLEU 的评估原则是这个 $n$ 元语法是否出现在标签序列中。

  用 $p_n$ 表示 $n$ 元语法的精度，它是预测序列与标签序列中匹配的 $n$ 元语法的数量与预测序列中匹配的 $n$ 元语法的数量的比率。详细解释，即给定的标签序列 $A$、$B$、$C$、$D$、$E$、$F$ 和预测序列 $A$、$B$、$B$、$C$、$D$，我们有 $p_1=4/5$、$p_2=3/4$、$p_3=1/3$ 和 $p_4=0$。另外， ${\mathrm{l}\mathrm{e}\mathrm{n}}_{\text{label}}$ 表示标签序列中的标记数和 ${\mathrm{l}\mathrm{e}\mathrm{n}}_{\text{pred}}$ 表示预测序列中的标记数。那么，BLEU 的定义是：

$$\exp \left(\min \left(0,1-\frac{{\mathrm{l}\mathrm{e}\mathrm{n}}_{\text{label}}}{{\mathrm{l}\mathrm{e}\mathrm{n}}_{\text{pred}}}\right)\right)\prod _{n=1}^k{p}_n^{1/2^n},$$

其中 $k$ 是能够匹配的最长的 $n$ 元语法。根据BLEU 的定义，当预测序列与标签序列相同时，BLEU 为1。而且，因为匹配的 $n$ 元语法越长则难度越大，BLEU 为更长的 $n$ 元语法的精度分配更大的权重。具体来说，当 $p_n$ 固定时，$p_n^{1/2^n}$ 会随着 $n$ 的增长而增加（原始论文使用 $p_n^{1/n}$）。此外，由于预测的序列越短获得的 $p_n$ 值越高，因此BLEU公式中乘法项之前的系数惩罚较短的预测序列。例如，当 $k=2$ 时，给定标签序列 $A$、$B$、$C$、$D$、$E$、$F$ 和预测序列 $A$、$B$，尽管 $p_1=p_2=1$，惩罚因子 $\exp (1-6/2)\approx 0.14$ 会降低 BLEU。

BLEU 的实现代码如下。

def bleu(pred_seq, label_seq, k):  #@save
    """计算 BLEU"""
    pred_tokens, label_tokens = pred_seq.split(' '), label_seq.split(' ')
    len_pred, len_label = len(pred_tokens), len(label_tokens)
    score = math.exp(min(0, 1 - len_label / len_pred))
    for n in range(1, k + 1):
        num_matches, label_subs = 0, collections.defaultdict(int)
        for i in range(len_label - n + 1):
            label_subs[''.join(label_tokens[i:i + n])] += 1
        for i in range(len_pred - n + 1):
            if label_subs[''.join(pred_tokens[i:i + n])] > 0:
                num_matches += 1
                label_subs[''.join(pred_tokens[i:i + n])] -= 1
        score *= math.pow(num_matches / (len_pred - n + 1), math.pow(0.5, n))
    return score

7. 用训练好的Seq2Seq模型将英语翻译成法语

engs = ['go .', "i lost .", 'he\'s calm .', 'i\'m home .']
fras = ['va !', 'j\'ai perdu .', 'il est calme .', 'je suis chez moi .']
for eng, fra in zip(engs, fras):
    translation, attention_weight_seq = predict_seq2seq(
        net, eng, src_vocab, tgt_vocab, num_steps, device)
    print(f'{eng} => {translation}, bleu {bleu(translation, fra, k=2):.3f}')

go . => va !, bleu 1.000
i lost . => j'ai perdu ., bleu 1.000
he's calm . => il est paresseux ., bleu 0.658
i'm home . => je suis chez moi de de de de de de, bleu 0.481

三、总结

• Seq2Seq是从一个句子到另一个句子
• 编码器和解码器都是RNN
• 将编码器最后时间隐藏状态来初始化解码器状态完成信息传递
• 常用BLEU来衡量生成序列的好坏。