GHostNet网络最通俗易懂的解读【不接受反驳】

前沿知识

在介绍GHostNet网络之前，我们首先回顾一下分组卷积和深度可分离卷积。

分组卷积

假设input.shape = [$C_1$, H, W] output.shape = $[C_2,H^1,W^1]$
输入每组feature map尺寸：$W\times H\times \frac{C_1}{g}$ ，共有g组。
单个卷积核每组的尺寸：$k\times k\times \frac{C_2}{g}$，一个卷积核被分成了g组。
输出feature map尺寸：$W^1\times H^1\times g$，共生成g个feature map。
现在我们计算一下分组卷积时的参数量和运算量：
参数量$params=k^2\times \frac{C_1}{g}\times \frac{C_2}{g}\times g=k^2\frac{C_1}{g}{C}_2$
运算量$FLOPs=k^2\times \frac{C_1}{g}{C}_2\times W^1\times H^1=k^2\frac{C_1}{g}{C}_2{W}^1{H}^1$

• 分析：
  利用分层过滤组提高CNN效率论文地址
  官方分析：Alex认为group conv的方式能够增加 filter之间的对角相关性,而且能够减少训练参数,不容易过拟合,这类似于正则的效果。

• 代码实现(pytorch提供了相关参数,以2d为例)

import torch
import torch.nn as nn
...
model = nn.Conv2d(in_channels = in_channel, out_channels = out_channel, 
kernel_size = kernel_size, stride = stride, padding = 1, dilation = dilation, group = group_num)

通过上述的代码我们可以清楚的看见分组卷积就做了一次卷积。

深度可分离卷积

MobileNets:论文地址
深度可分离卷积是MobileNet的精髓,它由deep_wise卷积和point_wise卷积两部分组成。我以前一直觉得深度可分离卷积是极端化的分组卷积(把group数量设为Cin个就行)。但今天再次思考一下,发现他们很大的不同在于,分组卷积只进行一次卷积(一个nn.Conv2d即可实现),不同group的卷积结果concat即可,而深度可分离卷积是进行了两次卷积操作,第一次先进行deep_wise卷积(即收集每一层的特征),kernel_size = KK1,第一次卷积总的参数量为KKCin,第二次是为了得到Cout维度的输出,kernel_size = 11Cin,第二次卷积总的参数量为11Cin*Cout。第二次卷积输出即为深度可分离卷积的输出。

• 举例

举个例子比较参数量：假设input.shape = [$c_1$, H, W] output.shape = [$c_2$, H, W]
(a)常规卷积参数量=$k\times k\times c_1\times c_2$
(b)深度可分离卷积参数量=$k\times k\times c1+1\times 1\times c_1\times c_2$

上面的例子我们可以清楚地看到,得到相同的output.shape,直观看上去,深度可分离卷积的参数量比常规卷积少了一个数量级。

• 代码实现(pytorch)

import torch
import torch.nn as nn
...
model = nn.Sequential(
        nn.Conv2d(in_channels = in_channel, out_channels = in_channel, 
kernel_size = kernel_size, stride = stride, padding = 1, dilation = dilation, group = in_channel),
        nn.Conv2d(in_channels = in_channel, out_channels = out_channel kernel_size = 1, padding = 0)
        )

之所以在写在前面中提到,本文的题目一定要先是分组卷积再是深度可分离卷积,因为在我看来后者是前者的极端情况(分组卷积的$group$设为$i{n}_{c}hannel$,即每组的channel数量为1),尽管形式上两者有比较大的差别:分组卷积只进行一次卷积操作即可,而深度可分离卷积需要进行两次——先$depth-wise$再$point-wise$卷积,但他们本质上是一样的。

深度可分离卷积进行一次卷积是无法达到输出指定维度的tensor的,这是由它将group设为in_channel决定的,输出的tensor通道数只能是in_channel,不能达到要求,所以又用了1*1的卷积改变最终输出的通道数。这样的想法也是自然而然的,$BottleNeck$不就是先11卷积减少参数量再$3\times 3$卷积feature map,最后再11恢复原来的通道数,所以$BottleNeck$的目的就是减少参数量。提到BottleNeck结构就是想说明1*1卷积经常用来改变通道数。

GHostNet网络

GHostNet论文地址
如下图所示，是由ResNet-50中的第一个残差块生成的某些中间特征图的可视化。从图中我们可以看出，这里面有很多特征图是具有高度相似性的（在图中分别用不同的颜色示意），换句话说，**就是存在许多的冗余特征图。所以从另一个角度想，我们是不是可以利用一系列的线性变化，以很小的代价生成许多能从原始特征发掘所需信息的“幻影”特征图呢？（冗余的特征图是非常有必要的，可以保证网络对输入数据的理解更为全面。）**这个便是整篇文章的核心思想。

如下图，我把Ghost-Module分成三个部分：

• 第一部分就是一个普通的卷积操作，但是我们并没有把其的通道设置的很大，我们假设其输出通道数为$m(m<n)$，$n$为$Output$输出的通道数。
• 第二部分就是一个分组卷积操作，记住是分组卷积，很多博主写的是深度可分离卷积操作，上面我也提到了深度可分离卷积是分两步操作的，但是这里的代码就是一次卷积，这样就好理解了。通过第二部分的分组卷积操作我们可以得到$Output$输出特征图下面红的的一部分特征图。
• 第三部分Identity，这个就很好理解了，就是把由第一部分卷积得到的通道数为$m$的特征图与第二部分分组卷积得到的通道数为$(m-1)s$的通道数相加。
  
  其中,${\Phi }_i$ 为线性变换。实际操作中${\Phi }_i$ 的变换方法不固定，可以是 3x3 线性核或者 5x5 线性核（其实有点类似深度卷积思想，但不同的是深度卷积前后的通道数相同，而这里${\Phi }_i$ 可以产生所需要的通道数，并且可以对同一通道特征图进行多次线性变换【其实当 s 取 2 时，${\Phi }_i$ 就是原原本本的深度卷积】）。另外，理论上可以使用不同尺寸大小的卷积核组合进行线性变换操作，但考虑到 CPU 或 GPU 的推理情况，作者建议全部使用 3x3 卷积核或全部使用 5x5 卷积核。

代码

本张图片来自GhostNet 详解，首先我们可以知道Output的输出通道数为$n$，通过第一部分卷积后的通道数为$m=\frac{n}{s}$，通过第二部分得到的输出通道为$m\times (s-1)=\frac{n}{s}$，那么再通过第三步$Identity$恒等映射把前面两部得到的特征图按通道数(dim = 1)进行相加，这样我们就可以得到$Output$输出特征图且通道数为（$channel=m+m\times (s-1)=s\times m$），又因为$m=\frac{n}{s}$，所以输出通道数还是$n$。

GHost Module比普通卷积的优点

GHost Module模块

在一个 G-bneck 中存在两个 Ghost module ，其中第一个 Ghost module 用于增加通道数（expansion layer），指定输出和输入通道数之间的比例为扩张比。第二个 Ghost module 减少通道数以匹配 shortcut 分支的通道。当步长为 2 时，在两个 Ghost module 中间加入一个步长为 2 的深度卷积层。

参数量对比

GHostNet网络结构