在搭建神经网络时,通常为了保证卷积操作前后的特征大小保持不变,会使用全零填充的方式进行卷积层padding参数的设置。此处,ZeroPad2d作为独立的网络层来调用,二者填充原理一致。
torch.nn.ZeroPad2d(padding)
注意:无论padding为整数还是元组,实际填充是严格按照左、右、上、下顺序执行;
(1)padding为整数:此时在输入的所有边界均填充相同大小的零。
inp=torch.tensor([[[[8., 3., 6., 2., 7.],
[0., 8., 4., 9., 3.]],
[[3., 9., 6., 2., 7.],
[7., 8., 4., 6., 2.]],
[[1., 9., 0., 1., 4.],
[7., 8., 1., 0., 3.]]]])
# print(inp.shape) # torch.Size([1, 3, 2, 5])
# print("inp:",inp)
pad=1
out=nn.ZeroPad2d(padding=pad)(inp)
print("padding={},out:".format(pad),out)
print(out.shape)
结果分析:
padding=1,out: tensor([[[[0., 0., 0., 0., 0., 0., 0.],
[0., 8., 3., 6., 2., 7., 0.],
[0., 0., 8., 4., 9., 3., 0.],
[0., 0., 0., 0., 0., 0., 0.]],
[[0., 0., 0., 0., 0., 0., 0.],
[0., 3., 9., 6., 2., 7., 0.],
[0., 7., 8., 4., 6., 2., 0.],
[0., 0., 0., 0., 0., 0., 0.]],
[[0., 0., 0., 0., 0., 0., 0.],
[0., 1., 9., 0., 1., 4., 0.],
[0., 7., 8., 1., 0., 3., 0.],
[0., 0., 0., 0., 0., 0., 0.]]]])
torch.Size([1, 3, 4, 7])
操作在H,W边界上进行,按照左、右、上、下顺序(①->②->③->④)依次填充提前设置的padding大小的零。比如此处设置padding为1,则表示需在输入特征的左右边界分别填充1列零,上下边界分别填充一行零。可看到在输入中H_in=2,W_in=5,而输出中为H_out=2+1+1=4,W_out=5+1+1=7。
(2)padding为4元组:padding=(pad_left,pad_right,pad_top,pad_bottom),此时在输入的边界填充padding指定大小的零。
inp=torch.tensor([[[[8., 3., 6., 2., 7.],
[0., 8., 4., 9., 3.]],
[[3., 9., 6., 2., 7.],
[7., 8., 4., 6., 2.]],
[[1., 9., 0., 1., 4.],
[7., 8., 1., 0., 3.]]]])
# print(inp.shape) # torch.Size([1, 3, 2, 5])
# print("inp:",inp)
pad=(2,2,1,1)
out=nn.ZeroPad2d(padding=pad)(inp)
print("padding={},out:".format(pad),out)
print(out.shape)
结果分析:
padding=(2, 2, 1, 1),out: tensor([[[[0., 0., 0., 0., 0., 0., 0., 0., 0.],
[0., 0., 8., 3., 6., 2., 7., 0., 0.],
[0., 0., 0., 8., 4., 9., 3., 0., 0.],
[0., 0., 0., 0., 0., 0., 0., 0., 0.]],
[[0., 0., 0., 0., 0., 0., 0., 0., 0.],
[0., 0., 3., 9., 6., 2., 7., 0., 0.],
[0., 0., 7., 8., 4., 6., 2., 0., 0.],
[0., 0., 0., 0., 0., 0., 0., 0., 0.]],
[[0., 0., 0., 0., 0., 0., 0., 0., 0.],
[0., 0., 1., 9., 0., 1., 4., 0., 0.],
[0., 0., 7., 8., 1., 0., 3., 0., 0.],
[0., 0., 0., 0., 0., 0., 0., 0., 0.]]]])
torch.Size([1, 3, 4, 9])
操作在H,W边界上进行,按照左、右、上、下顺序(①->②->③->④)依次填充提前设置的padding大小的零。比如此处设置padding为(2, 2, 1, 1),则表示需在输入特征的左右边界分别填充两列零,上下边界分别填充一行零。可看到在输入中H_in=2,W_in=5,而输出中为H_out=2+1+1=4,W_out=5+2+2=9。
详见:https://blog.csdn.net/qq_43665602/article/details/126593617
可按照全零填充的方法去理解,只不过此时用来填充的数字变成自定义常量,而不是0。
torch.nn.ConstantPad1d(padding, value)
(1)padding为整数
inp=torch.randint(10,size=(2,5))
print(inp.shape)
print("inp:",inp)
pad=1
value=10
out=nn.ConstantPad1d(padding=pad,value=value)(inp)
print("padding={},out:".format(pad),out)
print(out.shape)
结果分析:
可看到此时,该函数分别在输入向量左右两边填充了1列10。
torch.Size([2, 5])
inp: tensor([[5, 5, 6, 6, 1],
[8, 3, 2, 3, 1]])
padding=1,out: tensor([[10, 5, 5, 6, 6, 1, 10],
[10, 8, 3, 2, 3, 1, 10]])
torch.Size([2, 7])
(2)padding为2元组:padding=(pad_left,pad_right)
inp=torch.tensor([[5, 5, 6, 6, 1],
[8, 3, 2, 3, 1]])
# print(inp.shape)
# print("inp:",inp)
pad=(1,2)
value=10
out=nn.ConstantPad1d(padding=pad,value=value)(inp)
print("padding={},out:".format(pad),out)
print(out.shape)
结果分析:
可看到此时,该函数分别在输入向量左右两边填充了1、2列10.
padding=(1, 2),out: tensor([[10, 5, 5, 6, 6, 1, 10, 10],
[10, 8, 3, 2, 3, 1, 10, 10]])
torch.Size([2, 8])
使用常量填充向量边界的方法与全零填充相比,区别在于:二维全零填充是使用0填充,而二维常量填充是使用自定义的value值进行填充。当value=0时,常量填充与全零填充等价。
torch.nn.ConstantPad2d(padding, value)
(1)padding为整数
inp=torch.tensor([[[[8., 3., 6., 2., 7.],
[0., 8., 4., 9., 3.]],
[[3., 9., 6., 2., 7.],
[7., 8., 4., 6., 2.]],
[[1., 9., 0., 1., 4.],
[7., 8., 1., 0., 3.]]]])
# print(inp.shape) # torch.Size([1, 3, 2, 5])
# print("inp:",inp)
pad=1
value=10
out=nn.ConstantPad2d(padding=pad,value=value)(inp)
print("padding={},out:".format(pad),out)
print(out.shape)
结果分析:
当padding为整数时,输入按照左右上下的顺序,依次对向量使用自定义value值进行padding大小的填充。
padding=1,out: tensor([[[[10., 10., 10., 10., 10., 10., 10.],
[10., 8., 3., 6., 2., 7., 10.],
[10., 0., 8., 4., 9., 3., 10.],
[10., 10., 10., 10., 10., 10., 10.]],
[[10., 10., 10., 10., 10., 10., 10.],
[10., 3., 9., 6., 2., 7., 10.],
[10., 7., 8., 4., 6., 2., 10.],
[10., 10., 10., 10., 10., 10., 10.]],
[[10., 10., 10., 10., 10., 10., 10.],
[10., 1., 9., 0., 1., 4., 10.],
[10., 7., 8., 1., 0., 3., 10.],
[10., 10., 10., 10., 10., 10., 10.]]]])
torch.Size([1, 3, 4, 7])
(2)padding为4元组:padding=(pad_left,pad_right,pad_top,pad_bottom)
inp=torch.tensor([[[[8., 3., 6., 2., 7.],
[0., 8., 4., 9., 3.]],
[[3., 9., 6., 2., 7.],
[7., 8., 4., 6., 2.]],
[[1., 9., 0., 1., 4.],
[7., 8., 1., 0., 3.]]]])
# print(inp.shape) # torch.Size([1, 3, 2, 5])
# print("inp:",inp)
pad=(1,2,3,4)
value=10
out=nn.ConstantPad2d(padding=pad,value=value)(inp)
print("padding={},out:".format(pad),out)
print(out.shape)
结果分析:
当padding为4元组时,输入按照左右上下的顺序,依次对向量使用自定义value值进行填充。
padding=(1, 2, 3, 4),out: tensor([[[[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 8., 3., 6., 2., 7., 10., 10.],
[10., 0., 8., 4., 9., 3., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.]],
[[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 3., 9., 6., 2., 7., 10., 10.],
[10., 7., 8., 4., 6., 2., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.]],
[[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 1., 9., 0., 1., 4., 10., 10.],
[10., 7., 8., 1., 0., 3., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.],
[10., 10., 10., 10., 10., 10., 10., 10.]]]])
torch.Size([1, 3, 9, 8])
复制填充的方式,根据设定的padding,分别对输入向量的边界进行复制,并填充在对应的边界。
torch.nn.ReplicationPad1d(padding)
(1)padding为整数
inp=torch.tensor([[[2., 8., 4., 6.],
[0., 1., 8., 6.],
[7., 5., 5., 6.]],
[[3., 2., 0., 6.],
[0., 3., 3., 0.],
[5., 1., 3., 4.]]]) # torch.Size([2, 3, 4])
print(inp.shape)
print("inp:",inp)
pad=3
out=nn.ReplicationPad1d(padding=pad)(inp)
print("padding={},out:".format(pad),out)
print(out.shape)
结果分析:padding为整数意味着在输入向量的所有边界填充该数量大小的元素。此处padding=3,表示在输入向量的左、右边界均填充3个对应边界的复制品。
padding=3,out: tensor([[[2., 2., 2., 2., 8., 4., 6., 6., 6., 6.],
[0., 0., 0., 0., 1., 8., 6., 6., 6., 6.],
[7., 7., 7., 7., 5., 5., 6., 6., 6., 6.]],
[[3., 3., 3., 3., 2., 0., 6., 6., 6., 6.],
[0., 0., 0., 0., 3., 3., 0., 0., 0., 0.],
[5., 5., 5., 5., 1., 3., 4., 4., 4., 4.]]])
torch.Size([2, 3, 10])
(2)padding为2元组:padding=(pad_left,pad_right)
inp=torch.tensor([[[2., 8., 4., 6.],
[0., 1., 8., 6.],
[7., 5., 5., 6.]],
[[3., 2., 0., 6.],
[0., 3., 3., 0.],
[5., 1., 3., 4.]]]) # torch.Size([2, 3, 4])
print(inp.shape)
print("inp:",inp)
pad=(1,2)
out=nn.ReplicationPad1d(padding=pad)(inp)
print("padding={},out:".format(pad),out)
print(out.shape)
结果分析:图中可以看到,红框表示原始输入向量,蓝框表示填充元素,绿框分别表示输入向量的左、右边界。最后进行填充时,左面填充pad_left=1个左边界复制品,而右面填充pad_right=2个右边界复制品。
padding=(1, 2),out: tensor([[[2., 2., 8., 4., 6., 6., 6.],
[0., 0., 1., 8., 6., 6., 6.],
[7., 7., 5., 5., 6., 6., 6.]],
[[3., 3., 2., 0., 6., 6., 6.],
[0., 0., 3., 3., 0., 0., 0.],
[5., 5., 1., 3., 4., 4., 4.]]])
torch.Size([2, 3, 7])
torch.nn.ReplicationPad2d(padding)
(1)padding为整数
inp=torch.tensor([[[[8., 3., 6., 2., 7.],
[0., 8., 4., 9., 3.]],
[[3., 9., 6., 2., 7.],
[7., 8., 4., 6., 2.]],
[[1., 9., 0., 1., 4.],
[7., 8., 1., 0., 3.]]]])
# print(inp.shape) # torch.Size([1, 3, 2, 5])
# print("inp:",inp)
pad=1
out=nn.ReplicationPad2d(padding=pad)(inp)
print("padding={},out:".format(pad),out)
print(out.shape)
结果分析:与ReflectionPad1d的填充方式区别在于,此时需要填充的边界变成左、右、上、下四个。
padding=1,out: tensor([[[[8., 8., 3., 6., 2., 7., 7.],
[8., 8., 3., 6., 2., 7., 7.],
[0., 0., 8., 4., 9., 3., 3.],
[0., 0., 8., 4., 9., 3., 3.]],
[[3., 3., 9., 6., 2., 7., 7.],
[3., 3., 9., 6., 2., 7., 7.],
[7., 7., 8., 4., 6., 2., 2.],
[7., 7., 8., 4., 6., 2., 2.]],
[[1., 1., 9., 0., 1., 4., 4.],
[1., 1., 9., 0., 1., 4., 4.],
[7., 7., 8., 1., 0., 3., 3.],
[7., 7., 8., 1., 0., 3., 3.]]]])
torch.Size([1, 3, 4, 7])
(2)padding为4元组:padding=(pad_left,pad_right,pad_top,pad_bottom)
inp=torch.tensor([[[[8., 3., 6., 2., 7.],
[0., 8., 4., 9., 3.]],
[[3., 9., 6., 2., 7.],
[7., 8., 4., 6., 2.]],
[[1., 9., 0., 1., 4.],
[7., 8., 1., 0., 3.]]]])
# print(inp.shape) # torch.Size([1, 3, 2, 5])
# print("inp:",inp)
pad=(1,2,3,4)
out=nn.ReplicationPad2d(padding=pad)(inp)
print("padding={},out:".format(pad),out)
print(out.shape)
结果:可看到原始输入的左、右、上、下四个边界依次填充pad_left=1,pad_right=2,pad_top=3,pad_bottom=4大小的边界复制品。
padding=(1, 2, 3, 4),out: tensor([[[[8., 8., 3., 6., 2., 7., 7., 7.],
[8., 8., 3., 6., 2., 7., 7., 7.],
[8., 8., 3., 6., 2., 7., 7., 7.],
[8., 8., 3., 6., 2., 7., 7., 7.],
[0., 0., 8., 4., 9., 3., 3., 3.],
[0., 0., 8., 4., 9., 3., 3., 3.],
[0., 0., 8., 4., 9., 3., 3., 3.],
[0., 0., 8., 4., 9., 3., 3., 3.],
[0., 0., 8., 4., 9., 3., 3., 3.]],
[[3., 3., 9., 6., 2., 7., 7., 7.],
[3., 3., 9., 6., 2., 7., 7., 7.],
[3., 3., 9., 6., 2., 7., 7., 7.],
[3., 3., 9., 6., 2., 7., 7., 7.],
[7., 7., 8., 4., 6., 2., 2., 2.],
[7., 7., 8., 4., 6., 2., 2., 2.],
[7., 7., 8., 4., 6., 2., 2., 2.],
[7., 7., 8., 4., 6., 2., 2., 2.],
[7., 7., 8., 4., 6., 2., 2., 2.]],
[[1., 1., 9., 0., 1., 4., 4., 4.],
[1., 1., 9., 0., 1., 4., 4., 4.],
[1., 1., 9., 0., 1., 4., 4., 4.],
[1., 1., 9., 0., 1., 4., 4., 4.],
[7., 7., 8., 1., 0., 3., 3., 3.],
[7., 7., 8., 1., 0., 3., 3., 3.],
[7., 7., 8., 1., 0., 3., 3., 3.],
[7., 7., 8., 1., 0., 3., 3., 3.],
[7., 7., 8., 1., 0., 3., 3., 3.]]]])
torch.Size([1, 3, 9, 8])