Google AI 机器翻译论文《The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation》

论文
无代码
本文参考的模型
1.ConvS2S 代码
2.Transform 代码

18年，关于双语翻译的论文层出不穷，世界各地研究者发了很多这方面的paper，今天来介绍这篇Google AI发表的机器翻译论文。

一、背景

当前，seq2seq的模型在机器翻译中取得了一定的成果，典型的是将RNN循环神经网络模型作为基础，应用到seq2seq模型中。该篇论文的创作思路：第一步，将其他表现优秀的模型和训练技术，添加到当前的RNN结构中，生成一个新的结构，文中命名为RNMT+模型；第二步，分析最基础的seq2seq模型的结构特征，设计一个新的混合结构，去增强翻译效果。
注：现在利用各种神经网络模型进行深度学习的方法，越来越像搭积木的形式了，将各种有优势的模块进行拼装组合，似乎都会提升整体模型的表现效果。

1.基于RNN的翻译模型，都统称为RNMT(RNN-based NMT Models)

RNMT模型由RNN编码器、RNN解码器和注意力层组成。encoder编码器将输入的句子序列转换为向量集合，该向量集合通过一个注意力机制层，然后再传入到decoder解码器，最终生成一个词序列。
大多数成功的翻译模型，它的encoder编码器包含有一个或多个bi-RNN模块，而decoder解码器都是单向的RNNs。有的模型将RNN替换为其变形结构LSTM、GRU，或扩展模型的高层链接。在Google-NMT(2016)中，它的encoder编码器由一个bi-LSTM和7个uni-LSTM组成，它的decoder解码器由一个attention层和8个uni-LSTM组成。

Google-NMT(2016) Model

该篇文章在Google-NMT(2016)模型的基础上添加内容，建一个更大的模型RNMT+。

二、模型

RNMT+模型的结构图

RNMT+模型结构：左边是encoder编码器模型，它有6层bi-LSTM，每层结束都是将前向层输出和后向层输出进行add连接起来；右边是decoder解码器模型，它有8层uni-LSTM，第一层是用多头注意力层获取编码器输入内容信息，该内容也输入到decoder解码器最后一层softmax层进行计算。

三、训练结果

从以上数据表可知，这几个机器翻译模型耗时都比较久，90h约4天才能训练好一个翻译模型，RNMT+要120h约30天。。。。。模型训练还是用的16~32个GPUs。。。。
时间久~~~
耗费计算资源多~~~~
一般的服务器跑不起那么大的模型~~~~

四、总结

该篇论文没有太多的数学公式，它由很多神经网络模型像搭积木一样堆叠起来的一个新模型。也许一个大脑的正常运行，需要成千上亿的细胞来驱动吧，当下的机器翻译模型构建得越来越复杂，越来越大，模型的训练耗时很长、耗费的计算机资源也很多。这些模型工具，不是一般的机构能够运转的。