机器翻译引擎搭建实践
2. NMT系统搭建指导
主要对训练整体流程实现进行描述，不对算法原理进行讲解。
实验环境：
tensorflow 1.12.0 +
tensor2tensor
确保你的服务器上安装了这俩东西，而且能够跑通哈。
2.1 获取数据
搭建一个机器翻译系统最重要的是数据，机器翻译需要的数据形式就是平行语料。本质就是一句源语言，一句对应的目标语言。
举个例子：
中文：早上好。
英文：good morning.
基于神经网络的机器翻译系统训练，动辄需要几千万上亿条平行语料，我们如果自己获取或者购买成本都会很大，因此在现阶段，只能搜集更过的开源数据集用来训练。
该指导以中英文的机器翻译系统为例，我整理了几个开源的数据集供给我们进行试验。
联合国中英平行语料:
这个数据可以去WMT比赛官网上去下载，大概有几千万条数据，除此之外还可以通过参加一些比赛的方式来获取实验数据。
https://cms.unov.org/UNCorpus/zh#format
http://www.statmt.org/wmt18/translation-task.html#download
你可以仔细的挑选一下所需的平行语料。
当你下载下来数据后，需要将下载的平行语料分别放到两个文件中去，可以按照下面的方式操作一下。
如果没出错的话你会在自己的目录下看到数据文件。
如果我们仔细查看平行语料的形式，就会发现和我们想的一样。（废话。。。）
英文数据 UNv1.0.en-zh.en
中文数据 UNv1.0.en-zh.zh
所谓平行语料就是一句英文一句中文，一一对应的语料。这里我们使用的联合国平行语料共计15886041对平行数据。
2.2 数据预处理
数据预处理部分的最终目的就是对一句句话进行字词的令牌化处理，能够用对应的数字标签来进行表示。
例如：你好，我叫孙洪文，我爱吃胡萝卜
字典：{ ‘你好’:0,
‘，’:1,
‘我’:2,
‘叫’:3,
‘孙洪文’:4,
‘爱吃’:5,
‘胡萝卜’:6}
预处理后：012341256
对于我们的神经网络模型来说，我们要处理的直接对象就是预处理后的数据。但是往往在我们获得数据的过程中，我们不可避免的获得一些质量比较差的数据，存在一些问题。通用的一些做法尤其西方语言是参考著名的统计机器翻译工具moses的预处理流程：
normalize-punctuation
normalize-punctuation就是做一个符号或者拼写标准化的过程，例如出现的中文符号会统一的转化为英文符号，一些稀奇古怪的拼写形式会转化为标准的字母。具体的处理我们使用moses提供的方法。
首先将moses工具包下载到本地：
git clone https://github.com/moses-smt/mosesdecoder.git
然后使用moses的工具对英文平行语料做normalize-punctuation处理：
mosesdecoder/scripts/tokenizer/normalize-punctuation.perl -l en < data/en.all > data/en.norm.all
tokenizer
该步骤就是对英文进行分词，和汉字中的结巴分词功能一样，正常情况下英文分词只需要按照空格进行就可以了，但是英文中有一些特殊的情况需要进行处理，举例说明比如标点符号和单词之间一般是没有空格的，而我们分词的时候也需要将它区分出来。
在执行此操作前，可以进入perl脚本中修改thread的数量。
mosesdecoder/scripts/tokenizer/tokenizer.perl -a -l en < data/en.norm.all > data/en.tok.all
truecase
我们观察英文语料时会发现数据中存在大量的大小写不统一的情况，有些时候大小写不同会有不同的含义，而有些时候大小写不同只是因为单词所处的语境所决定的。最简单的例子就是英文中的首字母都会进行大写处理，而一些特殊单词比如I本身就是大写的。我们通过truecase可以将单词大小写统一为他本来的形式。
第一步需要训练一个truecase的模型，这个模型包含了各个单词对应的大小写形式。
mosesdecoder/scripts/recaser/train-truecaser.perl --model en-truecase.mdl --corpus data/en.tok.al
第二步使用我们训练好的模型。
mosesdecoder/scripts/recaser/truecase.perl --model en-truecase.mdl < data/en.tok.all > data/en.tc.all
jieba
中文的分词工具有很多，在这里我们使用最基本的结巴分词，作为中文分词的工具。
python -m jieba -d < data/zh.all > data/zh.jieba.all
clean-corpus-n
清理平行语料中语句长度过长的数据，不管中文语料还是英文中出现长度超过100的平行数据都会被删除。
mv data/en.tc.all data/data.en
mv data/zh.jieba.all data/data.zh
rm -rf data/en.*
rm -rf zh.all
mosesdecoder/scripts/training/clean-corpus-n.perl data/data zh en data/clean 1 100
这样我们就获得了初步的平行语料。
可以看一下清理结果：
BPE
（该实验中跳过该步骤）
我们通过分词得到的字典是非常庞大的，需要将一些词语如：hello-kitty切分为更细粒度的单词：hello, -, kitty。该过程尝试使用更少的词典和更短的编码形式来表示句子。
具体的理论，这里也不进行详述了，可能会在后续的博客详细介绍。
这次实验我们不使用单独的subword工具进行训练bpe，但这里也给出实现方案。
首先需要下载subword工具包到本地。
git clone https://github.com/rsennrich/subword-nmt.gi
然后训练英文子词模型：
python subword-nmt/subword_nmt/learn_joint_bpe_and_vocab.py -i data/clean.en -o en.bpe --write-vocabulary data/vocab.en
训练中文的子词模型：
python subword-nmt/subword_nmt/learn_joint_bpe_and_vocab.py -i data/clean.zh -o zh.bpe --write-vocabulary data/vocab.zh
应用子词模型对原文进行再次分词：
python subword-nmt/subword_nmt/apply_bpe.py -c en.bpe < data/clean.en >bpe.en
python subword-nmt/subword_nmt/apply_bpe.py -c zh.bpe < data/clean.zh >bpe.zh
2.3 模型训练
我们需要训练一个基于我们处理的数据生成的英译汉翻译模型，我们这个过程也选择开源的框架来作为模型的训练工具。常见的训练工具如下：
我们这个实验选择tensor2tensor来训练我们的模型。
首先，需要安装tensor2tensor到服务器上，自己安装应该也不难。
但是由于我们训练模型使用的是自己生成的数据，不是默认的数据，因此我们要修改一些代码来使模型能够用我们的数据进行训练。
在此之前，先将数据取出一部分作为训练集、验证集、测试集。
paste data/clean.{zh,en} | shuf > data/clean.both
sed -n 1,5000p data/clean.both | cut -f 1 > data/test.zh
sed -n 1,5000p data/clean.both | cut -f 2 > data/test.en
sed -n 5001,10000p data/clean.both | cut -f 1 > data/dev.zh
sed -n 5001,10000p data/clean.both | cut -f 2 > data/dev.en
sed -n 10001,15721635p data/clean.both | cut -f 1 > data/train.zh
sed -n 10001,15721635p data/clean.both | cut -f 2 > data/train.en
由于需要使用自己的数据作为训练数据，tensor2tensor使用个人数据需要定制问题problem。其方法也比较简单：
新建个人问题，可以去我写好的文件中拷贝：
cp -r /home/enzh/user_dir ./
其实里面做的事情就是定义了一些使用的数据集，和生成字典的方法。我们之前不使用bpe的原因就是tensor2tensor自己集成了subword的生成，我们在新建的文件中使用默认的方法就会自动生成subword。
接下来生成训练所需的数据，我们使用t2t-datagen这个指令来生成训练需要的数据。
t2t-datagen --data_dir=data --tmp_dir=data --problem=translate_enzh_sub50k --t2t_usr_dir=user_dir
使用生成的数据进行默认参数的训练：
t2t-trainer --data_dir=data --problem=translate_enzh_sub50k --model=transformer --hparams_set=transformer_base --output_dir=t2t_train/translate_enzh_sub50k/transformer_base --train_steps=400000 --worker_gpu=2 --t2t_usr_dir=user_dir
2.4 模型的解码及bleu计算
当你开始训练你的系统的时候，你会想监测一下你的模型效果如何，如果你直接运行了上面的代码，你会看到屏幕上打印了一些能够体现模型效果的参数值。
Loss是通常意义下的模型的识别损失函数，我们会持续的观察loss的变化。
而每过1000个step的时候，我们就可以监测一次模型在验证集上的表现。
我们主要关注的参数是bleu值，不同系统采用的bleu值各有不同，因此在数值上会有大小的差异，因此不必太过纠结。
如果想评估自己的系统和别人的系统的差别，一般论文中都会给出计算bleu的具体工具，使用同样的工具就可以进行比较了。后面的章节关于bleu的计算方法，我们详细介绍。
Tensor2tensor默认的训练步骤是250k，上面的训练过程我们设置为了400k，这大概需要训练2-3天的时间，你可以吧这个过程放到后台挂着，到时候就能得到不错的结果了。
2-3天过去了。。。
当过了三天之后，你的模型训练好了，你就可以通过解码测试集并计算一下bleu得分来检测一下识别效果了。
t2t-decoder --t2t_usr_dir=user_dir --data_dir=data --problem=translate_enzh_sub50k --model=transformer --hparams_set=transformer_base --output_dir=t2t_train/translate_enzh_sub50k/transformer_base --decode_beam_size=32 --decode_from_file=data/test.en --decode_to_file=result
然后查看当前目录下的result文件，你就能得到识别结果了。
如果你想检查一下你训练的模型获得的bleu分是多少，你可以尝试tensor2tensor自带的计算工具。
t2t-bleu --reference=data/test.zh --translation=result