d2l解码编码器与seq2seq
seq2seq难死了，卡了好久，好不容易有些头绪了。。。
目录
1.编码器与解码器
1.1原理
1.2实现
2.seq2seq
2.1构造编码器
2.2构造解码器
repeat与cat探索
总结nn.rnn\GRU\LSTM输入输出
看一下解码器的输出
2.3损失计算
2.4训练
2.5预测
2.6预测评估BLEU
2.7预测结果
1.编码器与解码器
1.1原理
1.2实现
#@save
class EncoderDecoder(nn.Module):
"""编码器-解码器架构的基类"""
def __init__(self, encoder, decoder, **kwargs):
super(EncoderDecoder, self).__init__(**kwargs)
self.encoder = encoder
self.decoder = decoder
def forward(self, enc_X, dec_X, *args):
enc_outputs = self.encoder(enc_X, *args)
dec_state = self.decoder.init_state(enc_outputs, *args)
return self.decoder(dec_X, dec_state)其中，dec_X为解码器输入，dec_state为解码器的初始状态，enc_outputs为编码器输出(p269)，传入decoder中的init_state函数。
2.seq2seq
2.1构造编码器
Embedding当作每个词嵌入one-hot。onehot是最简单的一种embedding
#@save
class Seq2SeqEncoder(d2l.Encoder):
"""⽤于序列到序列学习的循环神经⽹络编码器"""
def __init__(self, vocab_size, embed_size, num_hiddens, num_layers,
dropout=0, **kwargs):
super(Seq2SeqEncoder, self).__init__(**kwargs)
# 嵌⼊层
self.embedding = nn.Embedding(vocab_size, embed_size)
self.rnn = nn.GRU(embed_size, num_hiddens, num_layers,
dropout=dropout)
def forward(self, X, *args):
# 输出'X'的形状：(batch_size,num_steps,embed_size)
X = self.embedding(X)
# 在循环神经⽹络模型中，第⼀个轴对应于时间步
X = X.permute(1, 0, 2)
# 如果未提及状态，则默认为0
output, state = self.rnn(X)
# output的形状:(num_steps,batch_size,num_hiddens)
# state的形状:(num_layers,batch_size,num_hiddens)
return output, state 编码器最终的output输出为(T,bs,hiddens),state的输出为(n_layers,bs,hiddens)。
如果是Lstm的话，state是一个包含两个tensor的tuple，为Ht与Ct
下面这个例子bs=4,T=7,生成最终的output与state符合上述结论
encoder = Seq2SeqEncoder(vocab_size=10, embed_size=8, num_hiddens=16,
num_layers=2)
encoder.eval()
X = torch.zeros((4, 7), dtype=torch.long)
output, state = encoder(X)
output.shape, state.shape
'''
(torch.Size([7, 4, 16]), torch.Size([2, 4, 16]))
'''2.2构造解码器
encoder(X)得到的有output与state，这里init_state只拿[1],即只拿state。
再在forward中，拿到state[-1]最后一个时刻的最后一层的hidden，使用repeat广播到与X相同的维数(repeat探索下文)
目标tgt的输入X与src中的最后一层最后一个时刻广播后的state进行concat，一起送到目标层中的gru中进行输出，得到(T,bs,hidden),再通过dense的Linear层并转换维数permute，得到最终的输出(bs,T,len(v)).
state形状见(V,为(n_layer,bs,h)，表示最后一个时刻每个layer的Ht
定义GRU时，假设Encoder与Decoder中的hiddens是一致的，作用是将Encoder的state与decoder的input进行concat起来，使得满足训练图：每个input都与最后的state进行cat。
对于这个最后的state，还要进行补充说明，state[-1]是最后一个时刻的Tt中的最后一层layer的hidden，其形状为(bs,h),repeat后变为(T,bs,emb),这是把最后一刻的最后一层取代最后一刻的state，因为感觉state还不够靠后，所以将最后一刻的最后一层复制了T次。cat后变为(T,bs,emb+h)，作为解码器的输入。
tgt中的每个input词元与state[-1]都cat了起来，作为dec_input。在传入enc的state(n_layer,bs,h)作为解码器初始的state。
class Seq2SeqDecoder(d2l.Decoder):
"""⽤于序列到序列学习的循环神经⽹络解码器"""
def __init__(self, vocab_size, embed_size, num_hiddens, num_layers,
dropout=0, **kwargs):
super(Seq2SeqDecoder, self).__init__(**kwargs)
self.embedding = nn.Embedding(vocab_size, embed_size)
self.rnn = nn.GRU(embed_size + num_hiddens, num_hiddens, num_layers,
dropout=dropout)
self.dense = nn.Linear(num_hiddens, vocab_size)
def init_state(self, enc_outputs, *args):
return enc_outputs[1]
def forward(self, X, state):
# 输出'X'的形状：(batch_size,num_steps,embed_size)
X = self.embedding(X).permute(1, 0, 2)
# ⼴播context，使其具有与X相同的num_steps
context = state[-1].repeat(X.shape[0], 1, 1)
X_and_context = torch.cat((X, context), 2)
output, state = self.rnn(X_and_context, state)
output = self.dense(output).permute(1, 0, 2)
# output的形状:(batch_size,num_steps,vocab_size)
# state的形状:(num_layers,batch_size,num_hiddens)
return output, state这里面forward里面的state就是enc_outpus[1],可以观察解码器与编码器类。
repeat与cat探索
改成(T,1),结果返回的是(T×bs,h);改成(T,1,1,1),返回的是(T,1,bs,h);改成(1,T,1),返回的是(1,bs×T,h)。也就是说，原tensor为二维的(bs,h),repeat的最后两个数表示对这两个维度的操作，如果最后两个是(1,1),则原tensor保持不变，如果最后两个维度数字发生了变化，则表示原对应维度的数字×变化数字。如上述的(bs×T，h)或(bs, T×h)
下面的cat操作，注意只有除了指定的拼接维度之外，其他维度必须一致才能运行！在这里，X表示tgt的input，形状为(T,bs,emb),广播后的state为(T,bs,h),拼接后为(T,bs,emb+h),对应decoder里面的GRU输入维度为dmb+h
总结nn.rnn\GRU\LSTM输入输出
总结一下简介实现rnn的输入输出，输入为X(T,bs,emb);net = nn.rnn(input,h)改为nn.GRU\LSTM都一样，都为(input,h)。在数据处理后，input可以为emb，或者是上述的emb+h。通过nn的net处理后得到的都是(T,bs,h)。
看一下解码器的输出
对应output就是(bs,T,len(v))。state与之前一样的(n_layer,bs,h)
decoder = Seq2SeqDecoder(vocab_size=10, embed_size=8, num_hiddens=16,
num_layers=2)
decoder.eval()
state = decoder.init_state(encoder(X))
output, state = decoder(X, state)
output.shape, state.shape
'''
(torch.Size([4, 7, 10]), torch.Size([2, 4, 16]))
'''2.3损失计算
在计算损失时，应该将填充词源pad(对应的idx为1)去除，通过零化屏蔽不相关的项，以便后续任何不相关预测的计算都是与0乘积。
#@save
def sequence_mask(X, valid_len, value=0):
"""在序列中屏蔽不相关的项"""
maxlen = X.size(1)
mask = torch.arange((maxlen), dtype=torch.float32,
device=X.device)[None, :] < valid_len[:, None]
X[~mask] = value
return X举个例子：
X = torch.tensor([[1, 2, 3], [4, 5, 6]])
sequence_mask(X, torch.tensor([1, 2]))
'''
tensor([[1, 0, 0],
[4, 5, 0]])
'''通过扩展softmax交叉熵损失loss来屏蔽不相关的预测
每个T都生成一个vocab的预测，但是src中的pad词元没意义，所以要零化
pred是decoder的最终输出，形状为(bs,T,len(v))
weights前valid_len个元素为1，后面的为0.是为了过滤损失中填充词元产生的不相关预测
reduction='none'表示不进行mean操作
nn里面的交叉熵需要将预测的维度放在中间，所以要permute为(bs,len(v),T)
#@save
class MaskedSoftmaxCELoss(nn.CrossEntropyLoss):
"""带遮蔽的softmax交叉熵损失函数"""
# pred的形状：(batch_size,num_steps,vocab_size)
# label的形状：(batch_size,num_steps)
# valid_len的形状：(batch_size,)
def forward(self, pred, label, valid_len):
weights = torch.ones_like(label)
weights = sequence_mask(weights, valid_len)
self.reduction='none'
unweighted_loss = super().forward(pred.permute(0, 2, 1), label)
weighted_loss = (unweighted_loss * weights).mean(dim=1)
return weighted_loss举个例子，使用3个相同的序列进行代码健全性的检查，指定序列长度为4，2，0.第一个序列的损失应为第二个的2倍。
loss = MaskedSoftmaxCELoss()
loss(torch.ones(3, 4, 10), torch.ones((3, 4), dtype=torch.long),
torch.tensor([4, 2, 0]))
'''
tensor([2.3026, 1.1513, 0.0000])
'''2.4训练
大头都在Decoder里面讲了。
加了一个bos，将每个句子最后一个拿掉，与bos进行cat替换成bos。
实现的是p267页的图
Y_hat, _ = net(X, dec_input, X_valid_len)中，X对应的是enc_X;dec_input对应的是dec_X。解码器的输入。再详细看一下解码器decoder的操作！！
bos的尺寸为(bs,1),与前面的cat结论一致
#@save
def train_seq2seq(net, data_iter, lr, num_epochs, tgt_vocab, device):
"""训练序列到序列模型"""
def xavier_init_weights(m):
if type(m) == nn.Linear:
nn.init.xavier_uniform_(m.weight)
if type(m) == nn.GRU:
for param in m._flat_weights_names:
if "weight" in param:
nn.init.xavier_uniform_(m._parameters[param])
net.apply(xavier_init_weights)
net.to(device)
optimizer = torch.optim.Adam(net.parameters(), lr=lr)
loss = MaskedSoftmaxCELoss()
net.train()
animator = d2l.Animator(xlabel='epoch', ylabel='loss',
xlim=[10, num_epochs])
for epoch in range(num_epochs):
timer = d2l.Timer()
metric = d2l.Accumulator(2) # 训练损失总和，词元数量
for batch in data_iter:
optimizer.zero_grad()
X, X_valid_len, Y, Y_valid_len = [x.to(device) for x in batch]
bos = torch.tensor([tgt_vocab['']] * Y.shape[0],
device=device).reshape(-1, 1)
dec_input = torch.cat([bos, Y[:, :-1]], 1) # 强制教学
Y_hat, _ = net(X, dec_input, X_valid_len)
l = loss(Y_hat, Y, Y_valid_len)
l.sum().backward() # 损失函数的标量进⾏“反向传播”
d2l.grad_clipping(net, 1)
num_tokens = Y_valid_len.sum()
optimizer.step()
with torch.no_grad():
metric.add(l.sum(), num_tokens)
if (epoch + 1) % 10 == 0:
animator.add(epoch + 1, (metric[0] / metric[1],))
print(f'loss {metric[0] / metric[1]:.3f}, {metric[1] / timer.stop():.1f} '
f'tokens/sec on {str(device)}') dec_input注意cat中，bos在前，所以是将每个句子的开头放上bos，与书上的图片对应一致
命令行
embed_size, num_hiddens, num_layers, dropout = 32, 32, 2, 0.1
batch_size, num_steps = 64, 10
lr, num_epochs, device = 0.005, 300, d2l.try_gpu()
train_iter, src_vocab, tgt_vocab = d2l.load_data_nmt(batch_size, num_steps)
encoder = Seq2SeqEncoder(len(src_vocab), embed_size, num_hiddens, num_layers,
dropout)
decoder = Seq2SeqDecoder(len(tgt_vocab), embed_size, num_hiddens, num_layers,
dropout)
net = d2l.EncoderDecoder(encoder, decoder)
train_seq2seq(net, train_iter, lr, num_epochs, tgt_vocab, device)2.5预测
#@save
def predict_seq2seq(net, src_sentence, src_vocab, tgt_vocab, num_steps,
device, save_attention_weights=False):
"""序列到序列模型的预测"""
# 在预测时将net设置为评估模式
net.eval()
src_tokens = src_vocab[src_sentence.lower().split(' ')] + [
src_vocab['']]
enc_valid_len = torch.tensor([len(src_tokens)], device=device)
src_tokens = d2l.truncate_pad(src_tokens, num_steps, src_vocab[''])
# 添加批量轴
enc_X = torch.unsqueeze(
torch.tensor(src_tokens, dtype=torch.long, device=device), dim=0)
enc_outputs = net.encoder(enc_X, enc_valid_len)
dec_state = net.decoder.init_state(enc_outputs, enc_valid_len)
# 添加批量轴
dec_X = torch.unsqueeze(torch.tensor(
[tgt_vocab['']], dtype=torch.long, device=device), dim=0)
output_seq, attention_weight_seq = [], []
for _ in range(num_steps):
Y, dec_state = net.decoder(dec_X, dec_state)
# 我们使⽤具有预测最⾼可能性的词元，作为解码器在下⼀时间步的输⼊
dec_X = Y.argmax(dim=2)
pred = dec_X.squeeze(dim=0).type(torch.int32).item()
# 保存注意⼒权重（稍后讨论）
if save_attention_weights:
attention_weight_seq.append(net.decoder.attention_weights)
# ⼀旦序列结束词元被预测，输出序列的⽣成就完成了
if pred == tgt_vocab['']:
break
output_seq.append(pred)
return ' '.join(tgt_vocab.to_tokens(output_seq)), attention_weight_seq 预测阶段：dec_X的尺寸为(1,1).即(bs,T)，但是经过embedding后，会自动生成(bs,T,emb)，符合decoder后续的操作。
unsqueeze是指定增加维度，squeeze是指定降维。
预测阶段效果图：
2.6预测评估BLEU
实现公式：
当预测与标签完全相同时，BLEU=1；越小则预测的越差。
其中，前面的min是过短预测的惩罚项，越短则最后的值越小，说明越差
后面的P^(1/2^n)是过长预测的乘法(奖励)项，越长则n越大，则该项越大(因为p是[0,1]之间的数)。
def bleu(pred_seq, label_seq, k): #@save
"""计算BLEU"""
pred_tokens, label_tokens = pred_seq.split(' '), label_seq.split(' ')
len_pred, len_label = len(pred_tokens), len(label_tokens)
score = math.exp(min(0, 1 - len_label / len_pred))
for n in range(1, k + 1):
num_matches, label_subs = 0, collections.defaultdict(int)
for i in range(len_label - n + 1):
label_subs[' '.join(label_tokens[i: i + n])] += 1
for i in range(len_pred - n + 1):
if label_subs[' '.join(pred_tokens[i: i + n])] > 0:
num_matches += 1
label_subs[' '.join(pred_tokens[i: i + n])] -= 1
score *= math.pow(num_matches / (len_pred - n + 1), math.pow(0.5, n))
return score2.7预测结果
engs = ['go .', "i lost .", 'he\'s calm .', 'i\'m home .']
fras = ['va !', 'j\'ai perdu .', 'il est calme .', 'je suis chez moi .']
for eng, fra in zip(engs, fras):
translation, attention_weight_seq = predict_seq2seq(
net, eng, src_vocab, tgt_vocab, num_steps, device)
print(f'{eng} => {translation}, bleu {bleu(translation, fra, k=2):.3f}')
'''
go . => va !, bleu 1.000
i lost . => j'ai perdu perdu ., bleu 0.783
he's calm . => il court bien . ?, bleu 0.000
i'm home . => je suis malade bien bien bien ., bleu 0.418
'''