pytorch使用LSTM和GRU

LSTM和GRU都是由torch.nn提供

通过观察文档，可知LSMT的参数，

torch.nn.LSTM(input_size,hidden_size,num_layers,batch_first,dropout,bidirectional)

1. input_size ：输入数据的形状，即embedding_dim
2. hidden_size：隐藏层神经元的数量，即每一层有多少个LSTM单元
3. num_layer ：即RNN的中LSTM单元的层数
4. batch_first：默认值为False，输入的数据需要[seq_len,batch,feature],如果为True，则为[batch,seq_len,feature]
5. dropout:dropout的比例，默认值为0。dropout是一种训练过程中让部分参数随机失活的一种方式，能够提高训练速度，同时能够解决过拟合的问题。这里是在LSTM的最后一层，对每个输出进行dropout
6. bidirectional：是否使用双向LSTM,默认是False

实例化LSTM对象之后,不仅需要传入数据，还需要前一次的h_0(前一次的隐藏状态)和c_0（前一次memory）
即：lstm(input,(h_0,c_0))
实例化LSTM(input_size=embedding_dim,hidden_size=lstm单元的个数,num_layer=层数(默认就是1层), batch_first=输入中batch_size是否在第一个维度)

LSTM的默认输出为output, (h_n, c_n)

1. output：(seq_len, batch, num_directions * hidden_size)—>batch_first=False
2. h_n:(num_layers * num_directions, batch, hidden_size)
3. c_n: (num_layers * num_directions, batch, hidden_size)

seq_len就是时间步
output就是把每个时间步上的结果在seq_len这一个维度上进行拼接
h_n就是把不同层的隐藏状态在num_layers * num_directions维度上进行拼接

LSTM api使用示例

import torch
import torch.nn as nn

batch_size = 10
seq_len = 20 # 句子长度 即时间步
vocab_size = 100 # 词典的数量
embedding_dim = 30 # embedding维度

hidden_size = 18
num_layers = 2

input = torch.randint(low=0, high=100, size=[batch_size, seq_len])

embedding = nn.Embedding(vocab_size, embedding_dim)
embeded_input = embedding(input)# [10, 20, 30]
# 实例化LSTM
lstm = nn.LSTM(input_size=embedding_dim, hidden_size=hidden_size, num_layers=num_layers, batch_first=True)
# 获得LSTM的输出
output, (h_n, c_n) = lstm(embeded_input)

# print(output.size()) #[10, 20, 18]
# print("*" * 100)
# print(h_n.size()) #[1*2, 10, 18]
# print("*" * 100)
# print(c_n.size()) #[1*2, 10, 18]
# print("*" * 100)

# 获取最后一个时间步上的输出,该输出和最后一个隐层输出是一致的
last_output = output[:, -1, :]
last_hidden_state = h_n[-1, :, :]
#print(last_output == last_hidden_state)

#  GRU使用示例
gru = nn.GRU(input_size=embedding_dim, hidden_size=hidden_size, num_layers=num_layers)
output, h_n = gru(embeded_input)
# print(output.size())# [10, 20, 18]
# print("*" * 100)
# print(h_n.size())# [2, 20, 18]
# print("*" * 100)

#双向LSTM
#转化数据为batch_first=False
embeded_input = embeded_input.permute(1, 0, 2)# [20, 10, 30]
# 双向LSTM则第0个维度需要设置为num_layer * 2
h_0 = torch.rand(num_layers * 2, batch_size, hidden_size)
c_0 = torch.rand(num_layers * 2, batch_size, hidden_size)

lstm = torch.nn.LSTM(embedding_dim,hidden_size,num_layers,bidirectional=True)

output, (h_1, c_1) = lstm(embeded_input, (h_0, c_0))
# print(output.size()) #[20, 10, 36]
# print("*" * 100)
# print(h_1.size()) #[2*2, 10, 18]
# print("*" * 100)
# print(c_1.size()) #[2*2, 10, 18]
# print("*" * 100)

在单向LSTM中，最后一个time step的输出的前hidden_size个和最后一层隐藏状态h_1的输出相同，那么双向LSTM呢？

双向LSTM中：

output：按照正反计算的结果顺序在第2个维度进行拼接，正向第一个拼接反向的最后一个输出

hidden state:按照得到的结果在第0个维度进行拼接，正向第一个之后接着是反向第一个

1. 前向的LSTM中，最后一个time step的输出的前hidden_size个和最后一层向前传播h_1的输出相同

   • 示例：

   • #-1是前向LSTM的最后一个，前18是前hidden_size个
     In [188]: a = output[-1,:,:18]  #前项LSTM中最后一个time step的output
     
     In [189]: b = h_1[-2,:,:]  #倒数第二个为前向
     
     In [190]: a.size()
     Out[190]: torch.Size([10, 18])
     
     In [191]: b.size()
     Out[191]: torch.Size([10, 18])
     
     In [192]: a == b
     Out[192]:
     tensor([[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]],
            dtype=torch.uint8)
     

2. 后向LSTM中，最后一个time step的输出的后hidden_size个和最后一层后向传播的h_1的输出相同

   • 示例

   • #0 是反向LSTM的最后一个，后18是后hidden_size个
     In [196]: c = output[0,:,18:]  #后向LSTM中的最后一个输出
     
     In [197]: d = h_1[-1,:,:] #后向LSTM中的最后一个隐藏层状态
     
     In [198]: c == d
     Out[198]:
     tensor([[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
             [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]],
            dtype=torch.uint8)
     

1.4 LSTM和GRU的使用注意点

1. 第一次调用之前，需要初始化隐藏状态，如果不初始化，默认创建全为0的隐藏状态
2. 往往会使用LSTM or GRU 的输出的最后一维的结果，来代表LSTM、GRU对文本处理的结果，其形状为[batch, num_directions*hidden_size]。
   1. 并不是所有模型都会使用最后一维的结果
   2. 如果实例化LSTM的过程中，batch_first=False,则output[-1] or output[-1,:,:]可以获取最后一维
   3. 如果实例化LSTM的过程中，batch_first=True,则output[:,-1,:]可以获取最后一维
3. 如果结果是(seq_len, batch_size, num_directions * hidden_size),需要把它转化为(batch_size,seq_len, num_directions * hidden_size)的形状，不能够不是view等变形的方法，需要使用output.permute(1,0,2)，即交换0和1轴，实现上述效果
4. 使用双向LSTM的时候，往往会分别使用每个方向最后一次的output，作为当前数据经过双向LSTM的结果
   • 即：torch.cat([h_1[-2,:,:],h_1[-1,:,:]],dim=-1)
   • 最后的表示的size是[batch_size,hidden_size*2]
5. 上述内容在GRU中同理