吴恩达·RNN & GRU循环序列模型简记

RNN 单元

RNN是一个链式结构，每个时间片使用的是相同的权值矩阵

RNN一个特殊的点是输入数据总是比输出数据提前一个time_step，在准备训练数据时需注意。比如说在NMT “对齐 ”方面，RNN的这个时间步的输入与下个时间步的输出对齐。

RNN内部结构图

同理，在GRU中每一个门就是一个全连接隐藏层

GRU简化模型

是上一时间步的状态，是这一时间步状态，（这三个参数在吴恩达视频中又叫memory cell，取首字母），是此时间步的输入，是重写记忆细胞值的候选值，（update）是此时间步的更新门（gate）值，tanh和分别是激活函数tanh函数和S函数（又叫函数），可选择将每个时间步的新的记忆细胞值通过softmax激活后输出，、是偏移量，、是权重，是元素级的乘积，

    上方GRU示意图中紫色区域所执行的操作就是下方的第三个式子

GRU主要参数的计算公式

上式的参数中、、可以是向量，他们是相同维度的，这也印证了他们的元素级乘积操作。由于是被激活后的值，值域在[0,1]，它与同纬度的向量进行元素级乘积后，相当于通过0和1来选择保留或更新记忆细胞的值。

更进一步，完整的GRU还需添加一个参数，它代表（上一个时间步的记忆细胞值）和（此时间步的更新候选项）之间关联性

完整GRU的参数之间计算公式

GRU单元中主要的部分是两个门，分别是上面提到的（更新门）、（关联门）