市面上的神经机器翻译(NMT)概况

(未完)

个人笔记

MTPE:MT机器翻译,PE译后编辑

2016年开始逐渐兴起

NMT是以神经网络作为基础的机器翻译,开始在全面超越此前以统计模型为基础的统计机器翻译(SMT),并快速成为在线翻译系统的主流标配。

目前,广泛应用于机器翻译的是长短时记忆(LSTM,Long Short-Term Memory)循环神经网络(RNN,Recurrent Neural Network)。该模型擅长对自然语言建模,把任意长度的句子转化为特定维度的浮点数向量,同时“记住”句子中比较重要的单词,让“记忆”保存比较长的时间。

代表性的研究机构和公司包括,加拿大蒙特利尔大学的机器学习实验室,发布了开源的基于神经网络的机器翻译系统GroundHog。

现有NMT系统通病:计算量大,难以应对低频词汇。

目前NMT系统的突破方法:1.注意力模型,来自Deepmind在机器视觉领域的技术构想。

                       2.调动用户主动纠错翻译结果,并以之建立数据库。   

                                     3.尝试优质训练资料(深度学习架构)下的弱监督学习。

                       4.强大的垂直领域数据库和好的数据抽调模型。  


一、谷歌

   tf-seq2seq —— 基于 TensorFlow 的 seq2seq 框架(开源)



二、搜狗

    WMT2017国际翻译大赛,中英/英中双冠军,8项测评中有7项第一。并且获得主要机器指标BLEU(Bilingual Evaluation Understudy)第一名。

    EVA平台,研究如何去做训练,研究更好的模型

    自有硬件

    搜狗团队在自己的深度学习平台内部孵化出一个工具,试图解决在已有 ARM 的 CPU 等计算硬件的条件下,如何进行更高效的运算的问题。

    搜狗机器翻译系统以深度循环神经网络编码解码框架技术(Deep Recurrent Neural Network Encoder-Decoder)作为主要技术,使用完全端到端的学习方式。这种独特的人工智能技术不仅保证了整个翻译决策过程的连续性,而且使得翻译出的句子在流畅度上更优异。采用 encoder attention 加 decoder 技术,采用 layer norm 加速收敛,深层 RNN-NMT 模型。

    2017下半年上线了基于transformer的机器翻译系统,并且解决了这个系统解码器很慢的缺点(提升了8倍速度),形成了自有的Transformer框架(离线形式)





三、腾讯

    WMT2018 腾讯翻译君获得中英翻译冠军







你可能感兴趣的:(市面上的神经机器翻译(NMT)概况)