【tensorflow 学习】seq2seq模型代码解读

---

1. sequence-to-sequence模型

官方教程使用seq2seq模型实现了英语-法语的翻译系统。经典的sequence-to-sequence模型由两个RNN网络构成，一个被称为“encoder”，另一个则称为“decoder”，前者负责把序列编码成一个固定长度的向量，这个向量作为输入传给后者，输出可变长度的向量，它的基本网络结构如下，

其中每一个小圆圈代表一个cell，比如GRUcell、LSTMcell、multi-layer-GRUcell、multi-layer-GRUcell等。尽管“encoder”或者“decoder”内部存在权值共享，但encoder和decoder之间一般具有不同的一套参数。

---

2. 注意力机制（attention mechanism）

考虑到encoder将输入seq编码成一个向量，基本的decoder与encoder的交互仅在decoder初始的输入上，这样对于decoder而言，只能看到源信息的一个总体概要，会限制encoder-decoder架构的性能。
基于这个缺点进行了改进， 在翻译阶段， 准备生成每个新的词的时候， 注意力机制可以将注意力集中在输入的某个或某几个词上，重点关注这几个词， 使得翻译更精准。新的模型架构如下图所示。

---

3. seq2seq_model.py 解读

这个模型依照 http://arxiv.org/abs/1412.7449 实现。

机器学习模型的定义过程，一般包括输入变量定义、输入信息的forward propagation和误差信息的backward propagation三个部分，这三个部分在这个程序文件中都得到了很好的体现，下面我们结合代码分别进行介绍。

先来看一下seq2seq函数：

def seq2seq_f(encoder_inputs, decoder_inputs, do_decode):
    return tf.contrib.legacy_seq2seq.embedding_attention_seq2seq(
        encoder_inputs,# tensor of input seq
        decoder_inputs,# tensor of decoder seq
        cell, #自定义的cell,可以是GRU/LSTM, 设置multilayer等
        num_encoder_symbols=source_vocab_size, # 英语词典大小 40000
        num_decoder_symbols=target_vocab_size, # 法语词典大小 40000
        embedding_size=size, # embedding 维度
        output_projection=output_projection, # 不设定的话输出维数可能很大(取决于词表大小)，设定的话投影到一个低维向量
        feed_previous=do_decode, # false: 训练 ；True: 测试
        dtype=dtype)

---

3.1 输入变量的定义

    # Feeds for inputs.
        self.encoder_inputs = []
        self.decoder_inputs = []
        self.target_weights = []
        for i in xrange(buckets[-1][0]):  # Last bucket is the biggest one.
            self.encoder_inputs.append(tf.placeholder(tf.int32, shape=[None],
                                                      name="encoder{0}".format(i)))
#encoder_inputs 这个列表对象中的每一个元素表示一个占位符，其名字分别为encoder0, encoder1,…,encoder39，encoder{i}的几何意义是编码器在时刻i的输入。
        for i in xrange(buckets[-1][1] + 1):
            self.decoder_inputs.append(tf.placeholder(tf.int32, shape=[None],
                                                      name="decoder{0}".format(i)))
            self.target_weights.append(tf.placeholder(dtype, shape=[None],
                                                      name="weight{0}".format(i)))
#target_weights 是一个与 decoder_outputs 大小一样的 0-1 矩阵。该矩阵将目标序列长度以外的其他位置填充为标量值 0。
        # Our targets are decoder inputs shifted by one.
        targets = [self.decoder_inputs[i + 1]
                   for i in xrange(len(self.decoder_inputs) - 1)]
       # 跟language model类似，targets变量是decoder inputs平移一个单位的结果，

---

3.2 输入信息的forward propagation

# 区别在于seq2seq_f函数的参数feed previous是True还是false
if forward_only: # 测试阶段
    self.outputs, self.losses = tf.contrib.legacy_seq2seq.model_with_buckets(#？？
        self.encoder_inputs, self.decoder_inputs, targets,
        self.target_weights, buckets, lambda x, y: seq2seq_f(
            x, y, True),
        softmax_loss_function=softmax_loss_function)
    # If we use output projection, we need to project outputs for
    # decoding.
    if output_projection is not None:
        for b in xrange(len(buckets)):
            self.outputs[b] = [
                tf.matmul(output, output_projection[
                          0]) + output_projection[1]
                for output in self.outputs[b]
            ]
else:#训练阶段
    self.outputs, self.losses = tf.contrib.legacy_seq2seq.model_with_buckets(
        self.encoder_inputs, self.decoder_inputs, targets,
        self.target_weights, buckets,
        lambda x, y: seq2seq_f(x, y, False),
        softmax_loss_function=softmax_loss_function)

从代码中可以看到，输入信息的forward popagation分成了两种情况，这是因为整个sequence to sequence模型在训练阶段和测试阶段信息的流向是不一样的，这一点可以从seq2seqf函数的do_decode参数值体现出来，而do_decoder取值对应的就是tf.nn.seq2seq.embedding_attention_seq2seq函数中的feed_previous参数，forward_only为True也即feed_previous参数为True时进行模型测试，为False时进行模型训练。

---

3.3 误差信息的backward propagation

params = tf.trainable_variables() 
if not forward_only:# 只有训练阶段才需要计算梯度和参数更新
    self.gradient_norms = []
    self.updates = []
    opt = tf.train.GradientDescentOptimizer(self.learning_rate) # 用梯度下降法优化
    for b in xrange(len(buckets)):
        gradients = tf.gradients(self.losses[b], params) #计算损失函数关于参数的梯度
        clipped_gradients, norm = tf.clip_by_global_norm(gradients, 
                                                         max_gradient_norm)# clip gradients 防止梯度爆炸
        self.gradient_norms.append(norm)
        self.updates.append(opt.apply_gradients(
            zip(clipped_gradients, params), global_step=self.global_step))#更新参数

这一段代码主要用于计算损失函数关于参数的梯度。因为只有训练阶段才需要计算梯度和参数更新，所以这里有个if判断语句。并且，由于当前定义除了length(buckets)个graph，故返回值self.updates是一个列表对象，尺寸为length(buckets)，列表中第i个元素表示graph{i}的梯度更新操作。
训练 RNN 的一个重要步骤是梯度截断（gradient clipping）。这里，我们使用全局范数进行截断操作。最大值 max_gradient_norm 通常设置为 5 或 1。

---

3.4 模型训练

    # Input feed: encoder inputs, decoder inputs, target_weights, as
    # provided.
    input_feed = {}
    for l in xrange(encoder_size):
        input_feed[self.encoder_inputs[l].name] = encoder_inputs[l]
    for l in xrange(decoder_size):
        input_feed[self.decoder_inputs[l].name] = decoder_inputs[l]
        input_feed[self.target_weights[l].name] = target_weights[l]

    # Since our targets are decoder inputs shifted by one, we need one
    # more.
    last_target = self.decoder_inputs[decoder_size].name
    input_feed[last_target] = np.zeros([self.batch_size], dtype=np.int32)

    # Output feed: depends on whether we do a backward step or not.
    if not forward_only:
        output_feed = [self.updates[bucket_id],  # Update Op that does SGD.
                       self.gradient_norms[bucket_id],  # Gradient norm.
                       self.losses[bucket_id]]  # Loss for this batch.
    else:
        output_feed = [self.losses[bucket_id]]  # Loss for this batch.
        for l in xrange(decoder_size):  # Output logits.
            output_feed.append(self.outputs[bucket_id][l])

    outputs = session.run(output_feed, input_feed)
    if not forward_only:
        # Gradient norm, loss, no outputs.
        return outputs[1], outputs[2], None
    else:
        # No gradient norm, loss, outputs.
        return None, outputs[0], outputs[1:]

模型已经定义完成了，这里便开始进行模型训练了。上面的两个for循环用于为之前定义的输入占位符赋予具体的数值，这些具体的数值源自于get_batch函数的返回值。当session.run函数开始执行时，当前session会对第bucket_id个graph进行参数更新操作。

Reference:
1. https://www.tensorflow.org/tutorials/seq2seq
2. http://www.2cto.com/kf/201612/575911.html
3. http://www.jianshu.com/p/58ef2b990d3f