市面上的神经机器翻译（NMT）概况

（未完）

个人笔记

MTPE:MT机器翻译，PE译后编辑

2016年开始逐渐兴起

NMT是以神经网络作为基础的机器翻译，开始在全面超越此前以统计模型为基础的统计机器翻译（SMT），并快速成为在线翻译系统的主流标配。

目前，广泛应用于机器翻译的是长短时记忆（LSTM，Long Short-Term Memory）循环神经网络(RNN，Recurrent Neural Network)。该模型擅长对自然语言建模，把任意长度的句子转化为特定维度的浮点数向量，同时“记住”句子中比较重要的单词，让“记忆”保存比较长的时间。

代表性的研究机构和公司包括，加拿大蒙特利尔大学的机器学习实验室，发布了开源的基于神经网络的机器翻译系统GroundHog。

现有NMT系统通病：计算量大，难以应对低频词汇。

目前NMT系统的突破方法：1.注意力模型，来自Deepmind在机器视觉领域的技术构想。

                       2.调动用户主动纠错翻译结果，并以之建立数据库。   

                                     3.尝试优质训练资料（深度学习架构）下的弱监督学习。

                       4.强大的垂直领域数据库和好的数据抽调模型。  

一、谷歌

   tf-seq2seq —— 基于 TensorFlow 的 seq2seq 框架（开源）

二、搜狗

    WMT2017国际翻译大赛，中英/英中双冠军，8项测评中有7项第一。并且获得主要机器指标BLEU(Bilingual Evaluation Understudy)第一名。

    EVA平台，研究如何去做训练，研究更好的模型

    自有硬件

    搜狗团队在自己的深度学习平台内部孵化出一个工具，试图解决在已有 ARM 的 CPU 等计算硬件的条件下，如何进行更高效的运算的问题。

    搜狗机器翻译系统以深度循环神经网络编码解码框架技术（Deep Recurrent Neural Network Encoder-Decoder）作为主要技术，使用完全端到端的学习方式。这种独特的人工智能技术不仅保证了整个翻译决策过程的连续性，而且使得翻译出的句子在流畅度上更优异。采用 encoder attention 加 decoder 技术，采用 layer norm 加速收敛，深层 RNN-NMT 模型。

    2017下半年上线了基于transformer的机器翻译系统，并且解决了这个系统解码器很慢的缺点（提升了8倍速度），形成了自有的Transformer框架（离线形式）

三、腾讯

    WMT2018 腾讯翻译君获得中英翻译冠军