《Factored Neural Machine Translation》简读

paper来源：arXiv.org

问题：

实验任务----属于机器翻译（NMT）任务，具体来说，本paper实验任务为英语翻译为法语；

paperwork----在传统NMT的“seq2seq+attention”的基础上引入先验知识/工具改进了decoder的结构，在一定程度上解决大词表(Large Vocabulary)和OOV（Out Of Vocabulary）问题；

摘要：

首先，作者使用morphological and grammatical analysis（形态学与语法分析器）来获取单词的因素表示，lemmas, Part of Speech tag, tense, person, gender and number等；

其次，作者改进了传统的NMT的decoder，把输出由一个变成了两个，分别表示lemmas和其他的factors，独立学习，然后重组为word；

由此带来的好处是，同样大的词表可以表示更多的词；再者，它可以生产词表中不存在的新词，减少OOV词项的出现频率；

形态学与语法分析器（本文使用的是MACAON）：

举例：法语词devient（对应英文词becomes）可以表示为devenir和“vP3#s”, devenir为lemma，可以理解为词根；“vP3#s”为factors，可理解为修饰限制词根的其他因素；v表示verb，P表示Present(时态)，3表示3rd person(第三人称),#表示无关性别，s表示单数；

网络结构：

传统的NMT结构图：

两个重要概念：seq2seq，attention

FNMT提出的新的decoder的结构：

P变成独立的Lemma和factors向量（由此可能会带来长度差异，最终翻译结果的长度以lemma长度为准）；

将P层输入给softmax决定lemma和factor后，再将二者输送给形态学分析器来产生word；

(feedback采用的是lemma向量，根据如下实验效果选择的)：

实验结果：

1，词表比较大的时候，表现基本持平；词表缩小的话，FNMT的表现就要好得多；

2，相同的参数量，FNMT能够囊括更多的word；

3，在OOV问题的解决上，FNMT表现更好；

4，最后一列是忽略factor误差带来的影响，lemma正确就算正确的结果；

简评：

1，本文利用先验知识（词根+限制条件表示词汇）给解决大词表和OOV问题提供了一种思路；

2，实验的效果很大一部分依赖于先验的语态学分析器的效果，比如目标语言如果是中文或者英文就没有这样靠谱的分析器；

3，如有问题或建议，欢迎留言交流~