[技术笔记]PyTorch中用于RNN变长序列填充函数的简单使用

1、PyTorch中RNN变长序列的问题

  RNN在处理变长序列时有它的优势。在分批处理变长序列问题时，每个序列的长度往往不会完全相等，因此针对一个batch中序列长度不一的情况，需要对某些序列进行PAD（填充）操作，使得一个batch内的序列长度相等。
  PyTorch中的pack_padded_sequence和pad_packed_sequence可处理上述问题，以下用一个示例演示这两个函数的简单使用方法。

2、填充函数简介

“压缩”函数：用于将填充后的序列tensor进行压缩，方便RNN处理
pack_padded_sequence(input, lengths, batch_first=False, enforce_sorted=True)

	（1）input->被“压缩”的tensor，维度一般为[batch_size,_max_seq_len[,embedding_size]]或者[max_seq_len,batch_size[,embedding_size]]
	若input维度为:[batch_size,_max_seq_len[,embedding_size]]
		要将batch_first设置为True,这表示input的第一个维度为batch的数量
	若input维度为:[max_seq_len,batch_size[,embedding_size]]
		要将batch_first设置为False(默认值),这表示input的第一个维度不是batch的数量
	（2）lengths->lengths参数表示一个batch中序列真实长度，类型为列表，在例子中详细说明
	（3）batch_first->表示batch的数量是否在input的第一维度，默认值为False
	（4）enforce_sorted->input中的会自动按照lengths的情况进行排序，默认值为
	
“解压”函数：该函数与"压缩函数"相对应，经“压缩函数”处理的输入经过RNN得到的最终结果可以利用该函数进行“解压”
pad_packed_sequence(sequence, batch_first=False, padding_value=0.0, total_length=None):

	（1）sequence->压缩函数处理过的input经RNN后得到的结果
	（2）batch_first->与“压缩”函数中的batch_first一致
	（3）padding_value->序列进行填充时使用的索引，默认为0
	（4）total_length->暂略

3、PyTorch代码示例

代码如下（示例）：

# Create by leslie_miao on 2020/11/1

import torch
import torch.nn as nn

d_model = 10 # 词嵌入的维度
hidden_size = 20 # lstm隐藏层单元数量
layer_num = 1 # lstm层数

# 输入inputs,维度为[batch_size,max_seq_len]=[3,4],其中0代表填充
# 该input包含3个序列，每个序列的真实长度分别为: 4 3 2

inputs = torch.tensor([[1,2,3,4],[1,2,3,0],[1,2,0,0]])

embedding = nn.Embedding(5,d_model)

# 获取词嵌入后的inputs 当前inputs的维度为[batch_size,max_seq_len,d_model]=[3,4,10]
inputs = embedding(inputs)

# 查看inputs的维度
print(inputs.size())
# print: torch.Size([3, 4, 10])

# 利用“压缩”函数对inputs进行压缩处理，[4,3,2]分别为inputs中序列的真实长度,batch_first=True表示inputs的第一维是batch_size
inputs = nn.utils.rnn.pack_padded_sequence(inputs,lengths=[4,3,2],batch_first=True)

# 查看经“压缩”函数处理过的inputs的维度
print(inputs[0].size())
# print: torch.Size([9, 10])


# 定义RNN网络
network = nn.LSTM(input_size=d_model,hidden_size=hidden_size,batch_first=True,num_layers=layer_num)
# 初始化RNN相关门参数
c_0 = torch.zeros((layer_num,3,hidden_size))
h_0 = torch.zeros((layer_num,3,hidden_size)) # [rnn层数,batch_size,hidden_size]

# inputs经过RNN网络后得到的结果outputs
output,(h_n,c_n) = network(inputs,(h_0,c_0))

#查看未经“解压函数”处理的outputs维度
print(output[0].size())
# print: torch.Size([9, 20])

# 利用“解压函数”对outputs进行解压操作,其中batch_first设置与“压缩函数相同”，padding_value为0
output = nn.utils.rnn.pad_packed_sequence(output,batch_first=True,padding_value=0)

# 查看经“解压函数”处理的outputs维度
print(output[0].size())
# print：torch.Size([3, 4, 20])

---

总结

  介绍了PyTorch中两个应用于RNN变长序列填充的函数 $\text{pack\_padded\_sequence}$和 $\text{pad\_packed\_sequence}$的简单使用方法，欢迎指正交流！