【论文】on the properties of neural machine translation :Encoder-decoder approaches 阅读笔记

    2014年的文章,神经机器翻译相对SMT统计机器翻译而言是比较新的方法,包含一个encoder一个decoder,encoder将变长的输入序列转化为定长的表示方式,然后decoder再将其转化为正确的翻译。这篇文章是想用两种模型分析神经机器翻译的特性:RNN encoder-deocoder模型和门递归卷积神经网络(grCnov)。总的发现是,神经机器翻译在没有生词的短句翻译上表现良好,但是当句子变长、生词变多时性能下降很快。另外,门递归卷积神经网络可以自动学习一个句子的语法结构。

    神经机器翻译需要的存储单元比SMT少很多.这里用的RNN模型是带记忆的,


    用到的另一种神经机器翻译模型是CNN的一种,在通常的CNN的基础上添加了门的机制,这样递归网络可以快速的学习源句子的结构。

【论文】on the properties of neural machine translation :Encoder-decoder approaches 阅读笔记_第1张图片

这是递归神经网络的图

  训练过程:

在英语-法语的训练集上,minibatch SGD的方法来训练两个模型,RNN模型使用tanh,后者使用max(0,x);来做非线性化处理;然后使用基本的beam search来寻找条件概率最大的回答。

结论就是翻译效果与句子长度和生词数是有关的。两个模型都在短句、无生词的时候表现最好,但是两者的表现都没有超过SMT系统;结合SMT之后整体的翻译效果变好了。神经模型在记录长句的时候会丢失一些信息,而传统的方法在长句上的表现则更好。


    

你可能感兴趣的:(nltk,神经网络)