Pytorch中nn.RNN()基本用法和输入输出

以下均为单向RNN。

0. RNN模型结构

网上教程的标准RNN结构如下图,其实是有输入层x、隐藏层h和输出层y三层结构的。
Pytorch中nn.RNN()基本用法和输入输出_第1张图片

但是在Pytorch中定义的RNN,其实是没有y这个输出层的。例如下图中,Pytorch版本的两个输出,output=[h1, h2, h3, h4], hn = h4。如果想要得到输出层y,可以自行加一个全连接层。
Pytorch中nn.RNN()基本用法和输入输出_第2张图片

1. 初始化RNN

rnn = nn.RNN(input_size, hidden_size, num_layers)

2. RNN的输入

  • input:(seq_len, batch_size, input_size)
  • h0:(num_layers, batch_size, hidden_size)

注:
a. h0如果没有被提供,则默认设置为全0
b. 实际上h0维度是(num_layers*num_directions, batch_size, hidden_size),如果RNN是单向的,则num_directions=1;如果RNN是双向的,则num_directions=2,此处取单向RNN。

3. RNN输出

  • output:(seq_len, batch_size, hidden_size)
    为每个时间步得到的hidden_state
  • hn:(num_layers, batch_size, hidden_size)
    为最后一个时间步的hidden_state

注 :
a. 实际output维度是(seq_len, batch_size, num_directions * hidden_size)
b. 实际hn维度是(num_layers * num_directions, batch_size, hidden_size)

4. 实例

#########定义模型和输入#########
# (input_size, hidden_size, num_layers)
rnn = nn.RNN(10, 20, 1)
# (seq_len, batch_size, input_size)
input = torch.randn(5, 3, 10)
# (num_layers, batch_size, hidden_size)
h0 = torch.randn(1, 3, 20)

#########将输入喂入模型#########
output, hn = rnn(input, h0)

#########查看模型参数#########
rnn._parameters

5. 参考

Pytorch-RNN官方文档完整参数
知乎-Pytorch实现RNN

你可能感兴趣的:(深度学习,python)