神经网络机器翻译实现---Seq2Seq+注意力机制

1、NMT(Neural Machine Translation)简介

NMT框架可以简单地表示为如下图:输入句子经过编码得到上下文向量context,context再经过译码得到输出句子

神经网络机器翻译实现---Seq2Seq+注意力机制_第1张图片

可具体表示为

神经网络机器翻译实现---Seq2Seq+注意力机制_第2张图片

论文Sequence to Sequence Learning with Neural Networks称这个框架为序列到序列(sequence-to-sequence)

the context vector为,

输出

神经网络机器翻译实现---Seq2Seq+注意力机制_第3张图片

2、准备数据

本文以德文翻译成英文为例,数据集下载https://nlp.stanford.edu/projects/nmt/

一对数据为

本文句子长度设为固定值,输入句子为L,输出为M,为此将上面数据对处理成如下,其中为开始符,为结尾符

为了让模型再译码阶段学习到更多的输入信息,可以将输入句子反转

3、构建模型

xxx

4、性能提升

预训练词向量

teach foucing

Attention

神经网络机器翻译实现---Seq2Seq+注意力机制_第4张图片

论文Neural Machine Translation by Learning to Jointly Align and Translate

神经网络机器翻译实现---Seq2Seq+注意力机制_第5张图片

 

你可能感兴趣的:(NLP)