论文笔记：Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder

1.文章有何贡献？

一、提出了bidirectional tree encoder，可以同时学会译出语言的序列表达和树状表达特征。之后，解码器利用这些信息进行解码。

二、提出了tree-coverage model, 使得注意力机制更有效地利用了译出语言的句法结构。

2.本文研究的问题有何价值？

一，在encoder端，对Eriguchi et al. (2016)的树状解码器进行了强化，改成了双方向的，不仅有bottom-up encoder，还有up-down encoder。与基线NMT模型相比，性能有了很大的提升。

二、在decoder端，利用Tu et al. (2016)的coverage模型，将译出端的句法结构整合进注意力机制中去。这种处理，使得性能得到更大的提升。

3.研究问题有什么挑战？

一、如何充分编码译出端的句法信息？较之之前已有的树状编码器(tree encoder).

Tree Encoder

二、直接将树状编码器的各个节点，输入注意力机制后，发现会过度地集中于父节点，而忽略了子节点。导致的结果是，对某些部分的句子进行了重复翻译。如何解决这个问题。

Over attention to parent nodes

4.本文的解决思路？

对于第一个问题，提出bidirectional tree encoder。

当下面的叶节点按照序列顺序进行完了双向LSTM后，拼接特征，输入上一级的父节点，然后以此类推，到达最后的根节点。这是，原来的树状编码器的思路，也就是bottom-up。这样我们每个节点，获得了一个向上的特征向量。

Bi-directional Tree Encoder

而本文更进一步，将bottom-up的结果输入根节点，然后再从上到下，到达各个子节点。这也就是top-down。这样每个节点又获得了一个向下的特征向量。

之后将向上和向下的拼接，就是我们需要的双向特征了。

对于第二个问题，提出了tree-coverage model。

其实所谓的coverage就是，在计算当前时序的attention时，考虑之前时序的attention。

Add Coverage to Attention

具体细节公式参考论文。
Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder