TensorFlow seq2seq解读

github链接

注:1.2最新版本不兼容,用命令pip3 install tensorflow==1.0.0

在translate.py文件里,是调用各种函数;在seq2seq_model.py文件里,是定义了这个model的具体输入、输出、中间参数是怎样的init,以及获取每个epoch训练数据get_batch和训练方法step
确定这些之后再考虑各种变量的shape等问题。

代码结构

seq2seq_model.py中定义了seq2seqModelclass结构
__init__函数里:

主要定义了self的各种参数的取值。

  • (如果需要sampled softmax: 定义sampled_softmax_loss函数)
  • 定义RNN结构
  • 准备encoder_inputs等的placeholder
  • 调用seq2seq.model_with_buckets得到self.outputsself.losses
  • tf.clip_by_global_norm的方法来得到self.gradient_normsupdates
step函数(进行一次训练)里:

feed:把输入参数的encoder_inputsdecoder_inputs放入input_feed,最后session.run计算output的值。

get_batch函数里:

字面义,从输入参数data中随机选取符合要求bucket_id的数据PAD后返回。
返回结果——以self_test时的encoder_inputs为例,其格式为encoder_size*batch_size(6*32),decoder_inputs同理

translate.py是直接运行的文件
函数read_data

读取source language和target language文件,返回n个data_set,每个里面是(source,target)的句子pair,长度符合bucket[n]的要求

函数create_model

利用seq2seq_model.py生成model结构,如果已经存在ckpt文件,则读取参数,否则session.run(initializer)

函数train

with tf.session() as sess:

  • 调用create_model函数生成model
  • 调用read_data生成dev_set和train_set
  • training loop: 随机选一个bucket_id->model.get_batch->model.step
函数decode

with tf.session() as sess:

  • create_model并load参数
  • 读取待翻译的句子,决定对应的bucket_id
  • model.get_batch->model.step
  • 取可能性最大的output,截断
data_utils.py
TensorFlow seq2seq解读_第1张图片
生成了以上文件

ids代表把单词转化为了id,giga开头的是训练文件,newstest是测试文件,vocab里是一行一个单词的单词汇总。

具体分析:

1. model里调用的几个自带函数tf.nn.sampled_softmax_losstf.contrib.legacy_seq2seq.embedding_attention_seq2seqtf.contrib.legacy_seq2seq.model_with_buckets的关系。

tf.nn.sampled_softmax_loss,网络本身通过sampled_softmax(W*x+b)把输入的向量的维度扩展到target_vocab_size,这个函数是用来这一步的loss,会在后来被用于计算整体的loss。
tf.contrib.legacy_seq2seq.embedding_attention_seq2seq是不能计算的loss的,它只是负责返回这个网络的最终输出outputs [batch_size x decoder_size] 和状态states[batch_size x cell.state_size]。主要参数有

encoder_inputs,
decoder_inputs,
cell

tf.contrib.legacy_seq2seq.model_with_buckets是用来和target作比较,能计算出整体的loss(sampled_softmax的loss是一部分)。返回outputs [batch_size x output_size]和losses for each bucket。主要参数有

self.encoder_inputs, self.decoder_inputs, targets,
self.target_weights, buckets,
lambda x, y: seq2seq_f(x, y, False),
softmax_loss_function=softmax_loss_function
2. train和decode时的RNN输入和输出是怎样的?
TensorFlow seq2seq解读_第2张图片

train的时候,decoder_input是完整的+W+X+Y+Z。不需要用sampled_softmax计算输出word。
decode的时候,decoder_input只有,之后的decoder_input都是用上一个target。需要用sampled_softmax。

3. sess.run部分的训练方法是怎样的?

在model的初始化部分,定义了self.losses[len(bucket)]self.gradient_norms[len(bucket)]self.updates[len(bucket)]
在model.step部分,定义output_feed即为上述三个合并在一起。当然,要feed的只是某一个bucket,所以要指定[bucket_id]。

代码运行说明:

  1. 首先用迅雷下载WMT语料库(压缩包),未避免每次运行都要重新解压,在translate.py文件中的train函数中,把else条件改为
        from_train="../newstest2013.en.ids40000"
        to_train="../newstest2013.fr.ids40000"
        from_dev="../newstest2013.en.ids40000"
        to_dev="../newstest2013.fr.ids40000"

具体位置根据实际情况判断,其作用是直接读取train和dev的source和target的word_ids文件,而不用每次都重新生成。上图中的.en.fr结尾的文件都可以删除,因为它们是原始word组成的文件,不再需要。

  1. 此命令需要运行很长时间,因为放到了服务器上。且如果不用tutorial中的小参数内存会不够。
    python translate.py --data_dir ~/omg --train_dir ~/omg/train --size=256 --num_layers=2 --steps_per_checkpoint=50
    运行后会依次显示:
Creating 2 layers of 256 units.
Created model with fresh parameters.
reading data lines XXX#作用是读取train文件中的句子,根据长度分配到不同的bucket中

之后进行到translate.py中的while true循环中,不断读取数据再model.step进行训练。同时会显示不同bucket中的perplexity。

  1. 经过~30K步(tutorial中的数据)0号1号bucket中的perplexity会下降到个位数,此时即可test。注意命令中的参数务必和train时的一样,否则读取checkpoint会报错。
    python translate.py --decode --data_dir ~/omg --train_dir ~/omg/train --size=256 --num_layers=2 --steps_per_checkpoint=50
    成功进入读取输入的翻译阶段~由于训练参数太小效果不理想,如下图:
    将United States翻译成加拿大,不过China翻译正确。

链接:https://github.com/yingtaomj/GNMT_test

你可能感兴趣的:(TensorFlow seq2seq解读)