Pytorch：能够减少计算量的非对称卷积（asymmetric convolution）的pytorch实现

前言

在实际应用中，我们可能会遇到使用非对称卷积的情况，如谷歌的inceptionv3v4中就有使用1x7，7x1的卷积，这和我们平时使用的3x3卷积不同，是不对称的。

计算量

相比直接进行卷积，非对称卷积能够减少计算量。原来是 n×n 次乘法，改了以后，变成了 2×n 次乘法了，n越大，运算量减少的越多。
假设有一个5x5大小的特征图，使用3x3的卷积，不进行padding（即valid），步长默认为1。
计算量：
先进行3x1卷积核的滑动，横向滑动3次，纵向滑动5次，每一次计算量为3，计算量为（3x5)x3=45。得到的新的特征图为 [3,5] 。再进行1x3卷积，横向滑动3次，纵向滑动3次，每一次计算量为3，计算量为（3x3）x3=27。则总的计算量为45+27=72
使用3x3的卷积核对5x5的图进行卷积得到的计算量为：横竖三次滑动，每次计算量为9，则9x9=81>72

代码

import torch
a = torch.randn(1,32,5,5)  # 创建一个1x32x5x5的输入，BNWH格式
conv3x1 = torch.nn.Conv2d(32,32,(3,1))    # 3x1卷积
conv1x3 = torch.nn.Conv2d(32,32,(1,3))    # 1x3卷积

out = conv3x1(a)
print(out.shape)  # 进行了3x1后的output的形状
out = conv1x3(out)
print(out.shape)

得到：

torch.Size([1, 32, 3, 5])
torch.Size([1, 32, 3, 3])