channel shuffle通道洗牌

一般的卷积是在所有的输入特征图上做卷积,可以说是全通道卷积,是一种通道密集连接方式(channel dense connection);

分组卷积(Group convolution)是将输入层的不同特征图进行分组,然后采用不同的卷积核再对各个组进行卷积,这样可以降低卷积的计算量,但不利于通道组之间的信息流通,因此,与常规卷积相比,分组卷积是一种通道稀疏连接方式;

为了克服分组卷积带来的副作用,ShuffleNet v1 中提出了channel shuffle操作:对group convolution之后的特征图进行“重组”,这样可以保证下一步group convolution的输入来自不同的组,因此信息可以在不同组之间流转。
channel shuffle通道洗牌_第1张图片
其实就是打乱原有特征顺序再进行重组:首先确定自己的特征图通道数多少,再确定组数多少,然后将通道分组后作为输入(input)就可以了。
在程序上实现channel shuffle流程:
假定将输入层分为 g 组,总通道数为 g × n :
channel shuffle通道洗牌_第2张图片
channel shuffle通道洗牌_第3张图片

import torch
def channel_shuffle(x, groups):
    batch_size, num_channels, height, width = x.size()
    channels_per_group = num_channels // groups
    print(channels_per_group)
    # reshape
    # b, c, h, w =======>  b, g, c_per, h, w
    x = x.view(batch_size, groups, channels_per_group, height, width)
    x = torch.transpose(x, 1, 2).contiguous()
    # flatten
    x = x.view(batch_size, -1, height, width)
    return x

a = torch.randn(1,15,3,3) #1x15x3x3
print(a.shape)
groups = 3
x = channel_shuffle(a, 3)
print(x.shape)

你可能感兴趣的:(深度学习,深度学习,python,cnn)