github链接
注:1.2最新版本不兼容,用命令pip3 install tensorflow==1.0.0
在translate.py文件里,是调用各种函数;在seq2seq_model.py文件里,是定义了这个model的具体输入、输出、中间参数是怎样的init
,以及获取每个epoch训练数据get_batch
和训练方法step
。
确定这些之后再考虑各种变量的shape等问题。
代码结构
seq2seq_model.py中定义了seq2seqModel
class结构
__init__
函数里:
主要定义了self的各种参数的取值。
- (如果需要sampled softmax: 定义
sampled_softmax_loss
函数) - 定义RNN结构
- 准备
encoder_inputs
等的placeholder
- 调用
seq2seq.model_with_buckets
得到self.outputs
和self.losses
-
tf.clip_by_global_norm
的方法来得到self.gradient_norms
和updates
step
函数(进行一次训练)里:
feed:把输入参数的encoder_inputs
、decoder_inputs
放入input_feed
,最后session.run
计算output
的值。
get_batch
函数里:
字面义,从输入参数data
中随机选取符合要求bucket_id
的数据PAD后返回。
返回结果——以self_test时的encoder_inputs
为例,其格式为encoder_size*batch_size(6*32),decoder_inputs
同理
translate.py是直接运行的文件
函数read_data
:
读取source language和target language文件,返回n个data_set,每个里面是(source,target)的句子pair,长度符合bucket[n]的要求
函数create_model
:
利用seq2seq_model.py生成model结构,如果已经存在ckpt文件,则读取参数,否则session.run(initializer)
函数train
:
with tf.session() as sess:
- 调用
create_model
函数生成model - 调用
read_data
生成dev_set和train_set - training loop: 随机选一个
bucket_id
->model.get_batch
->model.step
函数decode
with tf.session() as sess:
- create_model并load参数
- 读取待翻译的句子,决定对应的bucket_id
-
model.get_batch
->model.step
- 取可能性最大的output,截断
data_utils.py
ids代表把单词转化为了id,giga开头的是训练文件,newstest是测试文件,vocab里是一行一个单词的单词汇总。
具体分析:
1. model里调用的几个自带函数tf.nn.sampled_softmax_loss
、tf.contrib.legacy_seq2seq.embedding_attention_seq2seq
、tf.contrib.legacy_seq2seq.model_with_buckets
的关系。
tf.nn.sampled_softmax_loss
,网络本身通过sampled_softmax(W*x+b)把输入的向量的维度扩展到target_vocab_size,这个函数是用来这一步的loss,会在后来被用于计算整体的loss。
tf.contrib.legacy_seq2seq.embedding_attention_seq2seq
是不能计算的loss的,它只是负责返回这个网络的最终输出outputs [batch_size x decoder_size]
和状态states[batch_size x cell.state_size]
。主要参数有
encoder_inputs,
decoder_inputs,
cell
tf.contrib.legacy_seq2seq.model_with_buckets
是用来和target作比较,能计算出整体的loss(sampled_softmax的loss是一部分)。返回outputs [batch_size x output_size]
和losses for each bucket
。主要参数有
self.encoder_inputs, self.decoder_inputs, targets,
self.target_weights, buckets,
lambda x, y: seq2seq_f(x, y, False),
softmax_loss_function=softmax_loss_function
2. train和decode时的RNN输入和输出是怎样的?
train的时候,decoder_input是完整的
decode的时候,decoder_input只有
3. sess.run部分的训练方法是怎样的?
在model的初始化部分,定义了self.losses[len(bucket)]
、self.gradient_norms[len(bucket)]
、self.updates[len(bucket)]
。
在model.step部分,定义output_feed即为上述三个合并在一起。当然,要feed的只是某一个bucket,所以要指定[bucket_id]。
代码运行说明:
- 首先用迅雷下载WMT语料库(压缩包),未避免每次运行都要重新解压,在
translate.py
文件中的train
函数中,把else条件改为
from_train="../newstest2013.en.ids40000"
to_train="../newstest2013.fr.ids40000"
from_dev="../newstest2013.en.ids40000"
to_dev="../newstest2013.fr.ids40000"
具体位置根据实际情况判断,其作用是直接读取train和dev的source和target的word_ids文件,而不用每次都重新生成。上图中的.en
、.fr
结尾的文件都可以删除,因为它们是原始word组成的文件,不再需要。
- 此命令需要运行很长时间,因为放到了服务器上。且如果不用tutorial中的小参数内存会不够。
python translate.py --data_dir ~/omg --train_dir ~/omg/train --size=256 --num_layers=2 --steps_per_checkpoint=50
运行后会依次显示:
Creating 2 layers of 256 units.
Created model with fresh parameters.
reading data lines XXX#作用是读取train文件中的句子,根据长度分配到不同的bucket中
之后进行到translate.py
中的while true循环中,不断读取数据再model.step进行训练。同时会显示不同bucket中的perplexity。
- 经过~30K步(tutorial中的数据)0号1号bucket中的perplexity会下降到个位数,此时即可test。注意命令中的参数务必和train时的一样,否则读取checkpoint会报错。
python translate.py --decode --data_dir ~/omg --train_dir ~/omg/train --size=256 --num_layers=2 --steps_per_checkpoint=50
成功进入读取输入的翻译阶段~由于训练参数太小效果不理想,如下图:
链接:https://github.com/yingtaomj/GNMT_test