seq2seq(序列到序列)模型

 seq2seq(sequence to sequence)模型是NLP中的一个经典模型,基于RNN网络模型构建,用途非常广泛:语言翻译,人机对话,问答系统等。

Seq2Seq,就如字面意思,输入一个序列,输出另一个序列,比如在机器翻译中,输入英文,输出中文。这种结构最重要的地方在于输入序列和输出序列的长度是可变的。而Seq2Seq模型也经常在输出的长度不确定时采用。

一、Seq2Seq详解(基于RNN)

1.1 与encoder-decoder的关系

Encoder–Decoder是一种框架,许多算法中都有该种框架,在这个框架下可以使用不同的算法来解决不同的任务。

seq2seq模型属于encoder-decoder框架的范围,Seq2Seq 强调目的,不特指具体方法,满足输入序列,输出序列的目的,都可以统称为 Seq2Seq 模型。

1.2 seq2seq中数据流动

seq2seq(序列到序列)模型_第1张图片

 在Encoder中,需要先将输入转换成词向量,即Embedding,用v_i表示转换成词向量的输入,上一时刻的隐藏状态用h_{t-1}表示,每一个时刻输出一个隐状态h_t,用函数f表示GRU隐层层的变换,即:

h_t=f(v_i,h_{t-1})

假设有t个词,最终通过Encoder自定义函数q将各时刻的隐状态变为语义向量C,即:

C=q(h_0,h_1,...,h_{t})

语义向量C就相当于从输入中提取出来大概意思,包含了输入的含义。

Decoder中,每一时刻的输入为Encoder输出的c和Decoder前一时刻的输出s_{t-1},还有前一时刻预测的词向量E_{t-1}(如果是预测第一个词的话,此时输入的词向量为“_GO”的词向量,标志着解码的开始),用g函数表达解码器的隐藏层变换,即:

s_i=g(c,s_{t-1},E_{t-1})

直到解码解出“_EOS”,标志着解码的结束。

1.3 Teacher Forching

在基础的模型中,Decoder的每一次解码又会作为下一次解码的输入,但这样会导致一个问题,如果其中一个RNN单元解码出现误差,那么这个误差就会传递到下一个RNN单元,使训练结果误差越来越大。

Teacher Forching在一定程度上解决了这个问题,它是在训练过程中,使用要解码的序列作为输入进行训练,但是在预测阶段是不能使用的,因为不知道要预测的序列是什么。

seq2seq(序列到序列)模型_第2张图片

 1.4 Beam Search

在预测阶段,不能用Teacher Forcing,只能用上一时刻解码的输出作为下一时刻解码的输入,但这样会出现误差传递,为了解决这个问题,可以使用Beam Search。

Beam Search是在每个时刻解码器选择Top k个预测结果作为下一个解码器的输入,将这k个结果逐一输入到解码器进行解码,就会产生k倍个预测结果,从所有的解码结果中再选出Top k个预测结果作为下一个解码器的输入,在最后一个时刻再选出Top 1作为最终的输出,这样避免误差的传递。

seq2seq(序列到序列)模型_第3张图片

 

参考资料:

Seq2Seq模型介绍 - 知乎 (zhihu.com)

Tensorflow中的Seq2Seq全家桶 - 知乎 (zhihu.com)

(46条消息) Seq2Seq模型_东石有海的博客-CSDN博客_seq2seq模型

(46条消息) Seq2Seq 模型详解_angushuang17的博客-CSDN博客_seq2seq模型

(46条消息) Seq2Seq模型_东石有海的博客-CSDN博客_seq2seq模型

你可能感兴趣的:(深度学习)