torch.nn.LSTM

什么是 LSTM

Understanding LSTM Networks 和 人人都能看懂的LSTM 这两篇文章介绍了 LSTM 的原理。本文的着重点在于 LSTM 的输入输出维度以及 torch.nn.LSTM 的使用。

LSTM 的输入输出

首先来看这张图

input 序列的长度为 $L$ ，包括 $x_1,x_2,...,x_{n-1},x_n(n=L)$ ，每个输入 $x_n$ 的维度数 input_size 为 $H_{in}$ 。所以，输入为 $L\times H_{in}$ 的矩阵。
每个隐藏单元 $h_n^{(w)}$ （每个蓝框）的尺寸 hidden_size 为 $H_{cell}$ ，而每个输入 $x_n$ 顶上的蓝框数量称作 num_layers ，即层数 $D$ 。最后一层的隐藏单元即为输出，大小为 $L\times H_{cell}$ 。

nn.LSTM

下面为 Pytorch 官方例子

rnn = nn.LSTM(10, 20, 2)				# 构建模型，(input_size, hidden_size, num_layers)->(H_in, H_cell, D)
input = torch.randn(5, 3, 10)		# 生成数据，(L, batch_size, H_in)
h0 = torch.randn(2, 3, 20)			# 初始隐藏单元，(num_layers, batch_size, hidden_size)->(D, batch_size, H_cell)
c0 = torch.randn(2, 3, 20)				# 一般用不到
output, (hn, cn) = rnn(input, (h0, c0))
# output.shape = (5, 3, 20)->(L, batch_size, H_cell)
#hn.shape = h0.shape
# cn.shape = c0.shape