机器学习&&深度学习——seq2seq实现机器翻译（详细实现与原理推导）

‍作者简介：一位即将上大四，正专攻机器学习的保研er
上期文章：机器学习&&深度学习——seq2seq实现机器翻译（数据集处理）
订阅专栏：机器学习&&深度学习
希望文章对你们有所帮助

之前已经讲解过了seq2seq，且已经将机器翻译的数据集导入和预处理好了，接下来就要利用该数据集进行训练。

引入

我们的任务就是构建上面的设计，并将之前的数据集用来训练这个模型。

import collections
import math
import torch
from torch import nn
from d2l import torch as d2l

编码器

技术上说，编码器就是将长度可变的输入序列转换成形状固定的上下文变量c，并将输入序列的信息在该上下文变量中进行编码。
考虑由一个序列组成的样本（批量大小为1）。假设输入序列是：
$$\begin{gathered} x_1,...,x_T \\ 其中x_t是输入文本序列中的第t个词元 \end{gathered}$$
在时间步t，循环神经网络将词元xt的输入特征向量和上一时间步的隐状态转换为当前步的隐状态，使用函数f来描述循环神经网络的循环层所做的变换：
$$h_t=f(x_t,h_{t-1})$$
总之，编码器通过选定的函数q， 将所有时间步的隐状态转换为上下文变量：
$$c=q(h_1,...,h_T)$$
比如，当
$$q(h_1,...,h_T)=h_T$$
时，上下文变量仅仅是输入序列在最后时间步的隐状态。
到目前，我们使用的是一个单向循环神经网络来设计编码器，隐状态只依赖于输入子序列，这个子序列是由输入序列的开始位置到隐状态所在的时间步的位置（包括隐状态所在的时间步）组成。我们也可以使用双向循环神经网络构造编码器，隐状态对整个序列的信息都进行了编码。
现在开始实现循环神经网络编码器，我们使用了嵌入层来获得输入序列的每个词元的特征向量。嵌入层的权重是一个矩阵，其行数等于输入词表的大小（vocab_size），其列数等于特征向量的维度（embed_size）。这里选择了一个多层门控循环单元来实现编码器：

#@save
class Seq2SeqEncoder(d2l.Encoder):
    """用于序列到序列学习的循环神经网络编码器"""
    def __init__(self, vocab_size, embed_size, num_hiddens, num_layers,
                 dropout=0, **kwargs):
        super(Seq2SeqEncoder, self).__init__(**kwargs)
        # 嵌入层
        self.embedding = nn.Embedding(vocab_size, embed_size)
        self.rnn = nn.GRU(embed_size, num_hiddens, num_layers,
                          dropout=dropout)

    def forward(self, X, *args):
        # 输出'X'的形状：(batch_size,num_steps,embed_size)
        X = self.embedding(X)
        # 在循环神经网络模型中，第一个轴对应于时间步
        X = X.permute(1, 0, 2)
        # 如果未提及状态，则默认为0
        output, state = self.rnn(X)
        # output的形状:(num_steps,batch_size,num_hiddens)
        # state的形状:(num_layers,batch_size,num_hiddens)
        return output, state

接着我们实例化上述编码器的实现，使用一个两层门控循环单元编码器，其隐藏单元数为16。给定一小批量的输入序列X（批量大小为4，时间步为7）。在完成所有时间步后，最后一层的隐状态的输出是一个张量（output由编码器的循环层返回），形状为（时间步数，批量大小，隐藏单元数）。

encoder = Seq2SeqEncoder(vocab_size=10, embed_size=8, num_hiddens=16,
                         num_layers=2)
encoder.eval()
X = torch.zeros((4, 7), dtype=torch.long)
output, state = encoder(X)
print(output.shape)

运行结果：

torch.Size([7, 4, 16])

解码器

编码器输出的上下文变量c对整个输入序列进行编码。而来自训练数据集的输出序列
$$y_1,y_2,...,y_{T^{{}^{\prime }}}$$
对于每个时间步t^’（与输入序列或编码器的时间步t不同），解码器输出的概率取决于先前的输出子序列
$$y_1,...,y_{t^{{}^{\prime }}-1}$$
和上下文变量c，即
$$P(y_{t^{{}^{\prime }}}|y_1,...,y_{t^{{}^{\prime }}-1},c)$$
为了在序列上模型化这种概率，我们可以使用另一个循环神经网络作为解码器。在输出序列上的任意时间步t^’，循环神经网络将来自上一时间步的输出和上下文c作为输入，然后再当前时间步将它们和上一隐状态转换为当前时间步的隐状态。可用g表示解码器的隐藏层的变换：
$$s_{t^{{}^{\prime }}}=g(y_{t^{{}^{\prime }}-1},c,s_{t^{{}^{\prime }}-1})$$
获得解码器隐状态后，我们可以使用输出层和softmax操作来计算在时间步t^’时输出y_{t^{'}}的条件概率分布：
$$P(y_{t^{{}^{\prime }}}|y_1,...,y_{t^{{}^{\prime }}-1},c)$$
当实现解码器时，我们直接使用编码器的最后一个时间步的隐状态来初始化解码器的隐状态。这就要求使用编码器和解码器要有相同数量的层和隐藏单元。
为了进一步包含经过编码的输入序列的信息，上下文变量在所有的时间步与解码器的输入进行拼接。为了预测输出词元的概率分布，在循环神经网络解码器的最后一层使用全连接层来变换隐状态。

class Seq2SeqDecoder(d2l.Decoder):
    """用于序列到序列学习的循环神经网络解码器"""
    def __init__(self, vocab_size, embed_size, num_hiddens, num_layers,
                 dropout=0, **kwargs):
        super(Seq2SeqDecoder, self).__init__(**kwargs)
        self.embedding = nn.Embedding(vocab_size, embed_size)
        self.rnn = nn.GRU(embed_size + num_hiddens, num_hiddens, num_layers,
                          dropout=dropout)
        self.dense = nn.Linear(num_hiddens, vocab_size)

    def init_state(self, enc_outputs, *args):
        return enc_outputs[1]

    def forward(self, X, state):
        # 输出'X'的形状：(batch_size,num_steps,embed_size)
        X = self.embedding(X).permute(1, 0, 2)
        # 广播context，使其具有与X相同的num_steps
        context = state[-1].repeat(X.shape[0], 1, 1)
        X_and_context = torch.cat((X, context), 2)
        output, state = self.rnn(X_and_context, state)
        output = self.dense(output).permute(1, 0, 2)
        # output的形状:(batch_size,num_steps,vocab_size)
        # state的形状:(num_layers,batch_size,num_hiddens)
        return output, state

下面我们输出一下解码器的输出形状：

decoder = Seq2SeqDecoder(vocab_size=10, embed_size=8, num_hiddens=16,
                         num_layers=2)
decoder.eval()
state = decoder.init_state(encoder(X))
output, state = decoder(X, state)
print(output.shape, state.shape)

输出结果：

torch.Size([4, 7, 10]) torch.Size([2, 4, 16])

显然，解码器的输出形状变为（批量大小，时间步数，词表大小），其中张量的最后一个维度存储预测的词元分布。
上述循环神经网络“编码器－解码器”模型中的各层如下所示：

损失函数

在每个时间步，解码器预测了输出词元的概率分布，可以使用softmax来获得分布， 并通过计算交叉熵损失函数来进行优化，数据集中的词元可能是被填充过的，因此，我们应该将填充词元的预测排除在损失函数的计算之外。
我们使用sequence_mask函数，通过零值化屏蔽不相关的项， 以便后面任何不相关预测的计算都是与零的乘积，结果都等于零。

#@save
def sequence_mask(X, valid_len, value=0):
    """在序列中屏蔽不相关的项"""
    maxlen = X.size(1)
    mask = torch.arange((maxlen), dtype=torch.float32,
                        device=X.device)[None, :] < valid_len[:, None]
    X[~mask] = value
    return X

现在，我们可以通过扩展softmax交叉熵损失函数来遮蔽不相关的预测。最初，所有预测词元的掩码都设置为1。一旦给定了有效长度，与填充词元对应的掩码将被设置为0。最后，将所有词元的损失乘以掩码，以过滤掉损失中填充词元产生的不相关预测。

#@save
class MaskedSoftmaxCELoss(nn.CrossEntropyLoss):
    """带遮蔽的softmax交叉熵损失函数"""
    # pred的形状：(batch_size,num_steps,vocab_size)
    # label的形状：(batch_size,num_steps)
    # valid_len的形状：(batch_size,)
    def forward(self, pred, label, valid_len):
        weights = torch.ones_like(label)
        weights = sequence_mask(weights, valid_len)
        self.reduction='none'
        unweighted_loss = super(MaskedSoftmaxCELoss, self).forward(
            pred.permute(0, 2, 1), label)
        weighted_loss = (unweighted_loss * weights).mean(dim=1)
        return weighted_loss

训练

#@save
def train_seq2seq(net, data_iter, lr, num_epochs, tgt_vocab, device):
    """训练序列到序列模型"""
    def xavier_init_weights(m):
        if type(m) == nn.Linear:
            nn.init.xavier_uniform_(m.weight)
        if type(m) == nn.GRU:
            for param in m._flat_weights_names:
                if "weight" in param:
                    nn.init.xavier_uniform_(m._parameters[param])

    net.apply(xavier_init_weights)
    net.to(device)
    optimizer = torch.optim.Adam(net.parameters(), lr=lr)
    loss = MaskedSoftmaxCELoss()
    net.train()
    animator = d2l.Animator(xlabel='epoch', ylabel='loss',
                     xlim=[10, num_epochs])
    for epoch in range(num_epochs):
        timer = d2l.Timer()
        metric = d2l.Accumulator(2)  # 训练损失总和，词元数量
        for batch in data_iter:
            optimizer.zero_grad()
            X, X_valid_len, Y, Y_valid_len = [x.to(device) for x in batch]
            bos = torch.tensor([tgt_vocab['']] * Y.shape[0],
                          device=device).reshape(-1, 1)
            dec_input = torch.cat([bos, Y[:, :-1]], 1)  # 强制教学
            Y_hat, _ = net(X, dec_input, X_valid_len)
            l = loss(Y_hat, Y, Y_valid_len)
            l.sum().backward()      # 损失函数的标量进行“反向传播”
            d2l.grad_clipping(net, 1)
            num_tokens = Y_valid_len.sum()
            optimizer.step()
            with torch.no_grad():
                metric.add(l.sum(), num_tokens)
        if (epoch + 1) % 10 == 0:
            animator.add(epoch + 1, (metric[0] / metric[1],))
    print(f'loss {metric[0] / metric[1]:.3f}, {metric[1] / timer.stop():.1f} '
        f'tokens/sec on {str(device)}')

现在就可以创建和训练一个循环神经网络“编码器－解码器”模型用于序列到序列的学习。

embed_size, num_hiddens, num_layers, dropout = 32, 32, 2, 0.1
batch_size, num_steps = 64, 10
lr, num_epochs, device = 0.005, 300, d2l.try_gpu()

train_iter, src_vocab, tgt_vocab = d2l.load_data_nmt(batch_size, num_steps)
encoder = Seq2SeqEncoder(len(src_vocab), embed_size, num_hiddens, num_layers,
                        dropout)
decoder = Seq2SeqDecoder(len(tgt_vocab), embed_size, num_hiddens, num_layers,
                        dropout)
net = d2l.EncoderDecoder(encoder, decoder)
train_seq2seq(net, train_iter, lr, num_epochs, tgt_vocab, device)
d2l.plt.show()

输出结果：

loss 0.020, 9040.7 tokens/sec on cpu

运行图片：

预测

与训练类似，序列开始词元bos在初始时间步被输入到解码器中。 当输出序列的预测遇到序列结束词元eos时，预测就结束了。

#@save
def predict_seq2seq(net, src_sentence, src_vocab, tgt_vocab, num_steps,
                    device, save_attention_weights=False):
    """序列到序列模型的预测"""
    # 在预测时将net设置为评估模式
    net.eval()
    src_tokens = src_vocab[src_sentence.lower().split(' ')] + [
        src_vocab['']]
    enc_valid_len = torch.tensor([len(src_tokens)], device=device)
    src_tokens = d2l.truncate_pad(src_tokens, num_steps, src_vocab[''])
    # 添加批量轴
    enc_X = torch.unsqueeze(
        torch.tensor(src_tokens, dtype=torch.long, device=device), dim=0)
    enc_outputs = net.encoder(enc_X, enc_valid_len)
    dec_state = net.decoder.init_state(enc_outputs, enc_valid_len)
    # 添加批量轴
    dec_X = torch.unsqueeze(torch.tensor(
        [tgt_vocab['']], dtype=torch.long, device=device), dim=0)
    output_seq, attention_weight_seq = [], []
    for _ in range(num_steps):
        Y, dec_state = net.decoder(dec_X, dec_state)
        # 我们使用具有预测最高可能性的词元，作为解码器在下一时间步的输入
        dec_X = Y.argmax(dim=2)
        pred = dec_X.squeeze(dim=0).type(torch.int32).item()
        # 保存注意力权重（稍后讨论）
        if save_attention_weights:
            attention_weight_seq.append(net.decoder.attention_weights)
        # 一旦序列结束词元被预测，输出序列的生成就完成了
        if pred == tgt_vocab['']:
            break
        output_seq.append(pred)
    return ' '.join(tgt_vocab.to_tokens(output_seq)), attention_weight_seq

预测序列的评估

原则上，对预测序列中的任意n元语法，BLEU的评估都是这个n元语法是否出现在序列标签中。
我们将BLEU定义为：
$$\begin{gathered} exp(min(0,1-\frac{le{n}_{label}}{le{n}_{pred}}))\prod _{n=1}^k{p}_n^{1/2^n} \\ 其中，le{n}_{label}是标签序列的词元数，le{n}_{pred}表示序列预测中的词元数,k是用于匹配的最长n元语法 \\ {p}_n表示n元语法的精确度，p_n=\frac{预测序列与标签序列中匹配的n元语法的数量}{预测序列中n元语法的数量} \end{gathered}$$
比如，我们给定标签序列为ABCDEF，预测序列为ABBCD，显然p1=4/5，p2=3/4，p3=1/3，p4=0。
我们可以再次剖析一下上式的细节，可以发现上式有多“妙”：
1、我们知道，n元语法越长，匹配难度越大，所以我们如果对于越长的且匹配了的n元语法，应该给与更大的支持，而BLEU正是这样，为更长的n元语法的精确度分配了更大的权重：
$$当p_n固定时，p_n^{1/2^n}会随着n的增长而增加（注意p_n显然恒小于1）$$
2、由于预测的序列越短，获得的pn值会越高，因此我们需要对其进行惩罚：
$$min(0,1-\frac{le{n}_{label}}{le{n}_{pred}})$$
可以看出，序列很短的时候，利用这个式子也会使得exp更小，从而降低BLEU。
BLEU的代码实现如下：

def bleu(pred_seq, label_seq, k):  #@save
    """计算BLEU"""
    pred_tokens, label_tokens = pred_seq.split(' '), label_seq.split(' ')
    len_pred, len_label = len(pred_tokens), len(label_tokens)
    score = math.exp(min(0, 1 - len_label / len_pred))
    for n in range(1, k + 1):
        num_matches, label_subs = 0, collections.defaultdict(int)
        for i in range(len_label - n + 1):
            label_subs[' '.join(label_tokens[i: i + n])] += 1
        for i in range(len_pred - n + 1):
            if label_subs[' '.join(pred_tokens[i: i + n])] > 0:
                num_matches += 1
                label_subs[' '.join(pred_tokens[i: i + n])] -= 1
        score *= math.pow(num_matches / (len_pred - n + 1), math.pow(0.5, n))
    return score

现在，利用训练好的循环神经网络“编码器－解码器”模型， 将几个英语句子翻译成法语，并和训练数据中的法语比较，计算BLEU的最终结果：

engs = ['go .', "i lost .", 'he\'s calm .', 'i\'m home .']
fras = ['va !', 'j\'ai perdu .', 'il est calme .', 'je suis chez moi .']
for eng, fra in zip(engs, fras):
    translation, attention_weight_seq = predict_seq2seq(
        net, eng, src_vocab, tgt_vocab, num_steps, device)
    print(f'{eng} => {translation}, bleu {bleu(translation, fra, k=2):.3f}')

运行结果：

go . => va le foutre bras !, bleu 0.000
i lost . => j’ai perdu ., bleu 1.000
he’s calm . => il est paresseux ., bleu 0.658
i’m home . => je suis chez moi porte qui suis ., bleu 0.640

看起来这次的效果并不好，第一个翻译出来的BLEU是0。
一个原因是我们的使用方法还是太原始了（seq2seq使用贪心的方式，下一个词元直接选概率高的，学过动态规划就知道这个不一定为最优）。
一个很好的序列生成策略是束搜索，将在之后讲解。

小结

1、根据“编码器-解码器”架构的设计， 我们可以使用两个循环神经网络来设计一个序列到序列学习的模型。
2、在实现编码器和解码器时，我们可以使用多层循环神经网络。
3、我们可以使用遮蔽来过滤不相关的计算，例如在计算损失时。
4、在“编码器－解码器”训练中，强制教学方法将原始输出序列（而非预测结果）输入解码器。
5、BLEU是一种常用的评估方法，它通过测量预测序列和标签序列之间的元语法的匹配度来评估预测。