Asynchronous Bidirectional Decoding for Neural Machine Translatio

用于神经机器翻译的异步双向解码

Abstract

主导神经机器翻译（NMT）模型应用统一注意力编码器 - 解码器神经网络进行翻译。 传统上，NMT解码器采用递归神经网络（RNN）以从左到右的方式执行转换，使得在翻译期间从右到左生成的目标侧上下文未被开发。在本文中，我们为传统的注意力编码器 - 解码器NMT框架配备了一个后向解码器，以探索NMT的双向解码。根据编码器产生的隐藏状态序列，我们的后向解码器首先学习从右到左生成目标侧隐藏状态序列。 然后，前向解码器在前向方向上执行翻译，而在每个翻译预测时间步长中，它同时应用两个注意力模型以分别考虑源端和反向目标端隐藏状态。通过这种新架构，我们的模型能够充分利用源和目标端上下文来完全提高翻译质量。NIST中英文和WMT英德翻译任务的实验结果表明，我们的模型分别实现了3.14和1.38 BLEU点对传统NMT的实质性改进。

Introduction

image.png

Table1具有不同解码方式的NMT系统的翻译示例。 L2R / R2L表示由NMT系统以从左到右/从右到左解码产生的翻译。 以波浪/虚线突出显示的文本分别是不正确/正确的翻译。
　　通常，大多数NMT解码器基于递归神经网络（RNN）并以从左到右的方式生成翻译。 因此，尽管在每个时间步骤为先前编码无界目标词被预测的优点，但是这些解码器不能捕获用于翻译的反向目标侧上下文。 一旦在先前的预测中发生错误，由于嘈杂的前向编码的目标侧上下文的负面影响，后续预测的质量将被破坏。 直观地，反向目标端上下文对于翻译预测也是至关重要的，因为它们不仅提供互补信号，而且还给NMT模型带来不同的偏差（Hoang，Haffari和Cohn 2017）。以表1中的示例为例。 由传统NMT系统误解的中文句子的后半部分被由具有从右到左的解码的NMT系统准确翻译。 因此，研究如何将反向目标端上下文集成到解码器中以提高NMT的翻译性能是很重要的。
为此，许多研究人员采用双向解码技术引入NMT（Liu et al。2016; Sennrich，Haddow和Birch 2016a; Hoang，Haffari和Cohn 2017）。他们中的大多数使用双向解码分数对候选翻译进行重新排序，以便选择具有适当前缀和后缀的翻译。然而，这些方法也带来一些限制NMT中双向解码潜力的缺点。一方面，由于有限的搜索空间和beam search的搜索误差，所产生的最佳翻译通常远非令人满意，因此它不能提供足够的信息作为其他解码器的补充。 另一方面，因为双向解码器在翻译期间通常彼此独立，所以单向解码器不能完全利用由另一解码器产生的目标侧上下文，因此生成的候选翻译仍然是不期望的。 因此，如何有效地发挥双向解码对NMT的影响还有待进一步研究。
　　在本文中，我们通过引入反向解码器来显着扩展传统的注意编码器 - 解码器NMT框架，以便充分利用反向目标侧上下文来改善NMT。如图1所示，与我们的新型异步双向解码器一起，所提出的模型仍然是端到端的注意NMT框架，其主要由三个部分组成：1）将输入源句子嵌入双向隐藏状态的编码器; 2）后向解码器，其类似于传统的NMT解码器，但是以从右到左的方式执行翻译，其中所生成的隐藏状态编码反向目标端上下文; 3）前向解码器，其从左到右生成最终翻译，并且考虑用于翻译预测的源端双向和目标端反向隐藏状态向量，同时引入两个注意力模型。与之前的相关NMT模型相比，我们的模型具有以下优点：1）后向解码器学习产生隐藏状态向量，其实质上编码潜在假设的语义，允许随后的前向解码器利用更丰富的目标端上下文进行翻译。 2）通过将从右到左的目标端上下文建模和从左到右的翻译生成集成到端到端的联合框架中，我们的模型在一定程度上减轻了反向目标端上下文建模的误差传播。
本文主要贡献：
我们通过双向解码深入分析并指出了NMT研究存在的弊端。
我们引入了一个后向解码器来编码从左到右的目标端上下文，作为NMT传统上下文建模机制的补充。 据我们所知，这是首次尝试用异步双向解码器研究端到端注意力NMT模型的有效性。
实验很成功

我们的模型

主要包括三部分：神经编码器参数集θe
神经后向解码 参数集 θb;
神经前向解码 参数集 θf
选择GRU去创建编码解码器，

Neural Encoder

使用一个双向RNN去建模
前向RNN在left-to-right方向上读一个source sentence x = x1,x2...xN

我们使用反向编码器的第一个隐藏状态，表示为h1，去初始化正向解码器的第一个隐藏状态s0。更重要的是，我们介绍了两种attention模型去直接捕获源端和目标端上下文：一个是encoder-forward decoder attention model 这个模型是重点在源端注释，另一个是backward decoder-forward decoder attention model 考虑所有的反向目标端隐藏状态。
正向编码器的最后一个隐层状态hN 去初始化反向解码器的第一个隐层状态Sm