NLP学习笔记五-simple RNN

NLP学习笔记五-simple RNN

我这个学习笔记，感兴趣的小伙伴，看的时候尽量从头开始看，这样更好理解，也更有收获。
simple RNN的单元结构图如下：

其中A就是我们需要学习的参数矩阵，$h_{t-1}$是我们上个单元得到的向量，$x_t$是当前单元输入的词向量，当前词向量$x_t$和h_{t-1}$拼接，之后和矩阵A相乘，在经过tanh的处理得到当前单元结构的输出h_t$

那么下面我们讲完simple RNN，还需要将一些知识，simple RNN并不能直接得到什么，simple RNN其实也是相当于一个特征提取的模型，从词向量中提取最终相应的特征信息h，这就是simple RNN的作用，如果我们做的是预测或者分类任务，还需要加入一个全连接层对h进行处理。下面就是一个很典型的simple RNN的网络结构，当然在做simple RNN之前，我们也一定是做完了词向量表征的。