22 循环神经网络

上一篇介绍了卷基层，可以用来构建很常见的卷积神经网络等模型。那么今天将要介绍的是递归层，是一个可以用来构建递归网络(RNN)的基础部件。具体的RNN知识，可以参考文章：《深入探究递归神经网络》。如果感觉上面这篇文章比较抽象，那么强烈建议读者阅读一下《递归神经网络不可思议的有效性》，因为它结合实际讲述了RNN的强大。下面来看下递归层都有哪些结构。

一、SimpleRNN

keras.layers.recurrent.SimpleRNN(output_dim,  
        init='glorot_uniform', inner_init='orthogonal', activation='sigmoid', weights=None,  
        truncate_gradient=-1, return_sequences=False, input_dim=None, input_length=None)  

一种输出反馈给输入的全连接RNN。
** inputshape: 3维 tensor(nb_samples, timesteps,input_dim)
** outputshape: 如果return_sequences=True，那么输出3维 tensor(nb_samples, timesteps, output_dim) .否则输出2维tensor(nb_samples,output_dim)。
** Masking：This layer supports masking forinput data with a variable number of timesteps To introduce masks to your data,use an Embedding layer with themask_zero parameter set toTrue.
** 参数：

• output_dim : 内部计算和最终输出的维度。
• init : 初始化权值的函数名称或Theano function。可以使用Keras内置的（内置初始化权值函数见这里），也可以传递自己编写的Theano function。如果不给weights传递参数时，则该参数必须指明。
• activation : 激活函数名称或者Theano function。可以使用Keras内置的（内置激活函数见这里），也可以是传递自己编写的Theano function。如果不明确指定，那么将没有激活函数会被应用。
• weights :用于初始化权值的numpy arrays组成的list。这个List应该有3个元素，它们的shape是[(input_dim, output_dim), (output_dim, output_dim),(output_dim,)]
• truncate_gradient: 在BPTT(back propgation throughtime, BP算法加入了时间维度)算法中的truncate步数。
• return_sequence: Boolean.False返回在输出序列中的最后一个输出；True返回整个序列。
• input_dim:输入数据的维度。当把该层作为模型的第一层时，这个参数和input_shape至少要提供一个传值。
• input_length:输入序列的长度。This argument is required ifyou are going to connectFlatten thenDense layers upstream (without it,the shape of the dense outputs cannot be computed)

二、SimpleDeepRNN

keras.layers.recurrent.SimpleDeepRNN(output_dim,depth=3,  
        init='glorot_uniform', inner_init='orthogonal',  
        activation='sigmoid', inner_activation='hard_sigmoid',  
        weights=None, truncate_gradient=-1, return_sequences=False,  
        input_dim=None, input_length=None) 

一种经过多步（由参数depth决定）计算输出反馈给输入的全连接RNN。示例代码如下：

output= activation(W.x_t + b +inner_activation(U_1.h_tm1) +inner_activation(U_2.h_tm2) + ...)  

** inputshape: 3维 tensor(nb_samples, timesteps,input_dim)
** outputshape: 如果return_sequences=True，那么输出3维 tensor(nb_samples, timesteps, output_dim) .否则输出2维tensor(nb_samples,output_dim)。
** Masking：This layer supports masking forinput data with a variable number of timesteps To introduce masks to your data,use an Embedding layer with themask_zero parameter set toTrue.
** 参数：

• output_dim : 内部计算和最终输出的维度。
• depth : int>=1.循环迭代的次数。如果depth=1，那么就等价于SimpleRNN。
• init : 初始化权值的函数名称或Theano function。可以使用Keras内置的（内置初始化权值函数见这里），也可以传递自己编写的Theano function。如果不给weights传递参数时，则该参数必须指明。
• inner_init : 内部神经元的权值初始化。
• activation : 激活函数名称或者Theano function。可以使用Keras内置的（内置激活函数见这里），也可以是传递自己编写的Theano function。如果不明确指定，那么将没有激活函数会被应用。
• inner_activation: 内部隐层的激活函数。
• weights :用于初始化权值的numpy arrays组成的list。这个List应该有depth+2个元素。
• truncate_gradient: 在BPTT(back propgation throughtime, BP算法加入了时间维度)算法中的truncate步数。
• return_sequence: Boolean.False返回在输出序列中的最后一个输出；True返回整个序列。
• input_dim:输入数据的维度。当把该层作为模型的第一层时，这个参数和input_shape至少要提供一个传值。
• input_length:输入序列的长度。This argument is required ifyou are going to connectFlatten thenDense layers upstream (without it,the shape of the dense outputs cannot be computed)

三、GRU

keras.layers.recurrent.GRU(output_dim,  
        init='glorot_uniform', inner_init='orthogonal',  
        activation='sigmoid', inner_activation='hard_sigmoid',  
        weights=None, truncate_gradient=-1, return_sequences=False,  
        input_dim=None, input_length=None)  

GRU(Gated Recurrent Unit)单元(2014年提出)。是实现RNN模型的主要单元之一。
** inputshape: 3维 tensor(nb_samples, timesteps,input_dim)
** outputshape: 如果return_sequences=True，那么输出3维 tensor(nb_samples, timesteps, output_dim) .否则输出2维tensor(nb_samples,output_dim)。
** Masking：This layer supports masking forinput data with a variable number of timesteps To introduce masks to your data,use an Embedding layer with themask_zero parameter set toTrue.
** 参数：

• output_dim : 内部计算和最终输出的维度。
• init : 初始化权值的函数名称或Theano function。可以使用Keras内置的（内置初始化权值函数见这里），也可以传递自己编写的Theano function。如果不给weights传递参数时，则该参数必须指明。
• inner_init : 内部神经元的权值初始化。
• activation : 激活函数名称或者Theano function。可以使用Keras内置的（内置激活函数见这里），也可以是传递自己编写的Theano function。如果不明确指定，那么将没有激活函数会被应用。
• inner_activation: 内部隐层的激活函数。
• weights :用于初始化权值的numpy arrays组成的list。这个List应该有9个元素。
• truncate_gradient: 在BPTT(back propgation throughtime, BP算法加入了时间维度)算法中的truncate步数。
• return_sequence: Boolean.False返回在输出序列中的最后一个输出；True返回整个序列。
• input_dim:输入数据的维度。当把该层作为模型的第一层时，这个参数和input_shape至少要提供一个传值。
• input_length:输入序列的长度。This argument is required ifyou are going to connectFlatten thenDense layers upstream (without it,the shape of the dense outputs cannot be computed)
  ** 本小节参考文献**：
  On the Properties of NeuralMachine Translation: Encoder–Decoder Approaches
  Empirical Evaluation of GatedRecurrent Neural Networks on Sequence Modeling

四、LSTM

keras.layers.recurrent.LSTM(output_dim,  
        init='glorot_uniform', inner_init='orthogonal', forget_bias_init='one',  
        activation='tanh', inner_activation='hard_sigmoid',  
        weights=None, truncate_gradient=-1, return_sequences=False,  
        input_dim=None, input_length=None) 

LSTM(Long-Short Term Memoryunit)单元(1997年Hochreiter提出)。是用来构建RNN网络的主要单元之一。
** inputshape: 3维 tensor(nb_samples, timesteps,input_dim)
** outputshape: 如果return_sequences=True，那么输出3维 tensor(nb_samples, timesteps, output_dim) .否则输出2维tensor(nb_samples,output_dim)。
** Masking：This layer supports masking forinput data with a variable number of timesteps To introduce masks to your data,use an Embedding layer with themask_zero parameter set toTrue.
** 参数：

• output_dim : 内部计算和最终输出的维度。
• init : 初始化权值的函数名称或Theano function。可以使用Keras内置的（内置初始化权值函数见这里），也可以传递自己编写的Theano function。如果不给weights传递参数时，则该参数必须指明。
• inner_init : 内部神经元的权值初始化。
• forget_bias_init: 初始化forget gate的偏置函数。Jozefowiczet al.推荐初始化为1。
• activation : 激活函数名称或者Theano function。可以使用Keras内置的（内置激活函数见这里），也可以是传递自己编写的Theano function。如果不明确指定，那么将没有激活函数会被应用。
• inner_activation: 内部隐层的激活函数。
• weights :用于初始化权值的numpy arrays组成的list。这个List应该有12个元素。
• truncate_gradient: 在BPTT(back propgation throughtime, BP算法加入了时间维度)算法中的truncate步数。
• return_sequence: Boolean.False返回在输出序列中的最后一个输出；True返回整个序列。
• input_dim:输入数据的维度。当把该层作为模型的第一层时，这个参数和input_shape至少要提供一个传值。
• input_length:输入序列的长度。This argument is required ifyou are going to connectFlatten thenDense layers upstream (without it,the shape of the dense outputs cannot be computed)
  **** 本小节参考文献：
  Longshort-term memory (original 1997 paper)
  Learningto forget: Continual prediction with LSTM
  Supervised sequencelabelling with recurrent neural networks

五、JZS1, JZS2, JZS3

keras.layers.recurrent.JZS1(output_dim,  
        init='glorot_uniform', inner_init='orthogonal',  
        activation='tanh', inner_activation='sigmoid',  
        weights=None, truncate_gradient=-1, return_sequences=False,  
        input_dim=None, input_length=None)  

**** ****是在近千种模型评估中进化而来的Top 3的RNN结构单元。它的作用与GRU和LSTM是一样的。其对应的MUT1, MUT2, 和MUT3结构是在《An Empirical Exploration of Recurrent NetworkArchitectures, Jozefowicz et al. 2015》中的提出来的。
**** inputshape: 3维 tensor(nb_samples, timesteps,input_dim)
**** outputshape: 如果return_sequences=True，那么输出3维 tensor(nb_samples, timesteps, output_dim) .否则输出2维tensor(nb_samples,output_dim)。
**** Masking：This layer supports masking forinput data with a variable number of timesteps To introduce masks to your data,use an Embedding layer with themask_zero parameter set toTrue.
**** 参数：

• output_dim : 内部计算和最终输出的维度。
• init : 初始化权值的函数名称或Theano function。可以使用Keras内置的（内置初始化权值函数见这里），也可以传递自己编写的Theano function。如果不给weights传递参数时，则该参数必须指明。
• inner_init : 内部神经元的权值初始化。
• forget_bias_init: 初始化forget gate的偏置函数。Jozefowiczet al.推荐初始化为1。
• activation : 激活函数名称或者Theano function。可以使用Keras内置的（内置激活函数见这里），也可以是传递自己编写的Theano function。如果不明确指定，那么将没有激活函数会被应用。
• inner_activation: 内部隐层的激活函数。
• weights :用于初始化权值的numpy arrays组成的list。这个List应该有9个元素。
• truncate_gradient: 在BPTT(back propgation throughtime, BP算法加入了时间维度)算法中的truncate步数。
• return_sequence: Boolean.False返回在输出序列中的最后一个输出；True返回整个序列。
• input_dim:输入数据的维度。当把该层作为模型的第一层时，这个参数和input_shape至少要提供一个传值。
• input_length:输入序列的长度。This argument is required ifyou are going to connectFlatten thenDense layers upstream (without it,the shape of the dense outputs cannot be computed)
  **** 本小节参考文献：
  An EmpiricalExploration of Recurrent Network Architectures

原文地址