【RNN】剖析RNN 之 从RNN-(Simple|LSTM) 到 序列生成 再到 seq2seq框架（encoder-decoder，或称为seq2seq）

前言

最近在搞一个多标签分类的项目，发现多标签分类问题中的多标签难点可以转化为序列生成问题（如下图，引自论文《Ensemble Application of Convolutional and Recurrent Neural Networks for Multi-label Text Categorization》[1]），论文中思想讲的很透彻，图也一目了然，但是RNN的具体实现上还是要自己搞清楚，因此这个思考过程整个从最简单的RNN到seq2seq都梳理了一个遍，特此记录。

为了清楚透彻，下面围绕上面这张图来展开。

RNN

先将上图简化为基本的RNN结构：

一目了然，~是输入序列，~是输出序列（有时我们只用到最后一个时序的输出，比如后面将要提到的 编码器-解码器 框架中的编码器），h0~h3之间的横向箭头就是状态的传递。

Simple-RNN

Simple-RNN非常简单，就是把t时刻的输出作为t时刻的状态传递给下一个时刻t+1的状态输入，一句话就是时序间传递的状态就是上一时序的输出。