序列到序列模型(seq2seq)

1. 简介

序列到序列模型其实是使用两个RNN。一个读取输入序列，将读取的序列发送给另一个RNN，接着输出序列。如下图，左侧的RNN叫做编码器，右侧的RNN叫做解码器。

编码器的主要任务是读取序列，然后将发现的规律传递给解码器。解码器会产生输出序列。传递给解码器的 “规律” 是固定大小的张量，称为状态，有时候也叫上下文，无论输出和输出的序列长短是多少，Context 的大小在构建模型的时候是指定，大小固定。

详细了解一下编码器和解码器的具体工作原理。已知编码器和解码器都是RNN，处理序列任务，自然有循环和时间步。

假如现在模型是一个聊天机器人，输入一个 “how are you ?” 的句子。首先需要将句子拆分成单词，将其分成4个元素，因为有4个元素，所以需要4个时间步，每次读取一个元素，然后在隐藏状态上进行转换，并将该状态传给下个时间步，再结合下个元素进行转换，以此重复直到第四个元素，如此最后输出 Context 上下文张量。

解码器也是同样的流程，根据编码器生成的 Context 上下文张量，将Context输入解码器，产生解码器的第一个输出和隐藏状态，将解码器的第一个输出和隐藏状态作为解码器的第二个输入，产生解码器的第二个输出和隐藏状态，以此重复。这就是解码器主要工作内容。

将编码器和解码器的工作模式结合进行展开，就是如下图的形式：

首先单词不能直接输入到 RNN 中，在进行分词之后，需要通过Embedding进行嵌入，得到每个单词的词向量。其实这里的词向量跟word2vec 和 Glove 概念一样。这里的 U 表示词嵌入之后的数据矩阵，A 表示每个时间步产生的状态。同样 B 表示解码器每个时间步的隐藏状态，V 表示解码器输出的向量。其实每个解码器RNN的输出都接一个全链接层，用于输出单词的概率。根据概率最大的值找到对应的单词。放大V的表示其实就是这样如下图，在实际应用中这样的输出可能有上百个，这跟词汇量的大小有关。

幸运的是 tensorflow 提供的API 已经做了很好的封装。将复杂的处理转换成一个API。在实际使用的时候调用API即可实现。

2. 应用

使用序列到序列模型有着广泛的应用。

示例一： 翻译。如果用英文的序列作为输入，用法语的作为标签，进行训练模型。即可得到一个英语到法语的翻译器。

机器翻译项目下载，下载的项目使用 jupyter notebook 打开查看。

示例二：文本摘要。如果使用一个新闻文章和对应的摘要数据进行训练。可得到一个文章内容摘要器。

示例三：QA问答机器人。使用问题和答案数据集进行训练，可得到一个问答机器人或聊天机器人。

示例四：看图说话。输入不一定是文字，还可以是其他，如图片。例如 RNN 通常与 CNN 一起使用。图像和字面一起使用。可实现输入一张图片，机器输出对应的图片内容。