Keras Recurrent Layers 解析

GRU

keras.layers.recurrent.GRU(input_dim, output_dim=128, init='glorot_uniform', inner_init='orthogonal', activation='sigmoid', inner_activation='hard_sigmoid', weights=None, truncate_gradient=-1, return_sequences=False)
   
   
   
   

Gated Recurrent Unit - Cho et al. 2014.

• 输入形状：3D 张量：(nb_samples, timesteps, input_dim).
• 输出形状：
  • 如果 return_sequences：3D 张量形如：(nb_samples, timesteps, output_dim).
  • 否则：2D 张量形如：(nb_samples, output_dim).
• 参数：
  • input_dim：输入的维数
  • output_dim：内部投影的维数和最终输出的维数
  • init：权重初始函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
  • inner_init：对内部元件的权重初始化函数
  • activation：激活函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
  • inner_activation：内部元件的激活函数
  • weights：numpy 数组的列表用以设置初始权重。这个列表应该有 9 个元素
  • truncate_gradient：BPTT 的截断时间步。参见：Theano scan
  • return_sequences：Boolean。是否返回输出序列的最后一个，或者返回全部序列。
• References:
  • On the Properties of Neural Machine Translation: Encoder–Decoder Approaches
  • Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling

---

LSTM

keras.layers.recurrent.LSTM(input_dim, output_dim=128, init='glorot_uniform', inner_init='orthogonal', forget_bias_init='one', activation='tanh', inner_activation='hard_sigmoid', weights=None, truncate_gradient=-1, return_sequences=False)
   
   
   
   

Long Short-Term Memory unit - Hochreiter et al. 1997

• 输入形状：3D 张量：(nb_samples, timesteps, input_dim).
• 输出形状：
  • 如果 return_sequences：3D 张量形如：(nb_samples, timesteps, output_dim).
  • 否则：2D 张量形如：(nb_samples, output_dim).
• 参数：
  • input_dim：输入的维数
  • output_dim：内部投影的维数和最终输出的维数
  • init：权重初始函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
  • inner_init：对内部元件的权重初始化函数
  • forget_bias_init：用作遗忘门的偏差初的始函数。Jozefowicz 等人推荐使用 1 来初始化
  • activation：激活函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
  • inner_activation：内部元件的激活函数
  • weights：numpy 数组的列表用以设置初始权重。这个列表应该有 9 个元素
  • truncate_gradient：BPTT 的截断时间步。参见：Theano scan
  • return_sequences：Boolean。是否返回输出序列的最后一个，或者返回全部序列。
• References:
  • Long short-term memory
  • Learning to forget: Continual prediction with LSTM
  • Supervised sequence labelling with recurrent neural networks

---

JZS1, JZS2, JZS3

keras.layers.recurrent.JZS1(input_dim, output_dim=128, init='glorot_uniform', inner_init='orthogonal', activation='tanh', inner_activation='sigmoid', weights=None, truncate_gradient=-1, return_sequences=False)
   
   
   
   

全连接的 RNN 其中输出被重回输入。不是特别有用，仅供参考。

• 输入形状：3D 张量：(nb_samples, timesteps, input_dim).
• 输出形状：
  • 如果 return_sequences：3D 张量形如：(nb_samples, timesteps, output_dim).
  • 否则：2D 张量形如：(nb_samples, output_dim).
• 参数：
  • input_dim
  • output_dim
  • init：权重初始函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
  • inner_init：内部元件的初始化的函数
  • activation：激活函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
  • weights：numpy 数组的列表用以设置初始权重。这个列表应该有 3 个元素，形如：[(input_dim, output_dim), (output_di,, output_dim), (output_dim, )]
  • truncate_gradient：BPTT 的截断时间步。参见：Theano scan
  • return_sequences：Boolean。是否返回输出序列的最后一个，或者返回全部序列。
• 参考文献：
  An Empirical Exploration of Recurrent Network Architectures

---

SimpleDeepRNN

keras.layers.recurrent.SimpleDeepRNN(input_dim, output_dim, depth=3, init='glorot_uniform', inner_init='orthogonal', activation='sigmoid', inner_activation='hard_sigmoid', weights=None, truncate_gradient=-1, return_sequences=False)
   
   
   
   

全连接的 RNN 其中多个时间步的输出重回输入中（使用 depth 参数来控制步数）。

output = activation( W.x_t + b + inner_activation(U_1.h_tm1) + inner_activation(U_2.h_tm2) + ... )
   
   
   
   

也不是常用的模型，仅供参考。

• 输入形状：3D 张量：(nb_samples, timesteps, input_dim).
• 输出形状：
  • 如果 return_sequences：3D 张量形如：(nb_samples, timesteps, output_dim).
  • 否则：2D 张量形如：(nb_samples, output_dim).
• 参数：
  • input_dim
  • output_dim
  • init：权重初始函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
  • inner_init：对内部元件的权重初始化函数
  • activation：激活函数。可以是任何已经存在的函数（str），或者是一个 Theano 的函数（参见：初始化）
  • inner_activation：内部元件的激活函数
  • weights：numpy 数组的列表用以设置初始权重。这个列表应该有 3 个元素，形如：[(input_dim, output_dim), (output_di,, output_dim), (output_dim, )]
  • truncate_gradient：BPTT 的截断时间步。参见：Theano scan
  • return_sequences：Boolean。是否返回输出序列的最后一个，或者返回全部序列。