分组卷积与DW卷积

分组卷积

不考虑权重项的话，常规卷积的参数量是：

                                                                                    

若分组数为G，则分组卷积的参数量是：

                                                        

即分组卷积可将参数量减小为原来的1/G。

注：分组卷积，输出特征图通道数不需要与输入通道数相同

 

pytorch的nn.Conv2d中的groups参数代表需要分的组数量，默认值为1（即常规卷积） 

深度可分离卷积(Depthwise Separable Convolution)

深度可分离卷积先进行depthwise convolution，然后进行pointwise convolution(其实质就是1*1的标准卷积)

标准卷积如下图：

 depthwise convolution: 卷积是在二维平面进行的，一个卷积核对应一个通道，输出通道数等于输入通道数

 pointwise convolution：融合特征图各个通道之间的信息，可以改变输出通道数

DW卷积的计算量和标准卷积计算量之间比例关系为：（注意是运算量，不是参数量）

式中为卷积核长(或宽，如3)，M为输入通道数，N数输出通道数，为输入特征图分辨率（如256）

一般N很大，1/N很小，所以3*3卷积的话DW卷积的运算量是标准卷积运算量的1/9

分组卷积与depthwise 卷积的区别

• 分组卷积的卷积核仍然是三维的，只不过卷积的输入通道和输出通道都是在分组内进行的。此外，输出通道数可以与输入通道数不相等
• depthwise卷积的卷积核是二维的，输出通道数等于输入通道数，输出通道与输入通道间是一一对应的。

参考：

CNN模型之MobileNet

Depthwise卷积与Pointwise卷积