[轻量化网络]--CVPR2020-GhostNet：More Features from Cheap Operations

效果超过NAS的MobileNetV3，想法的确很好，准备试一试

Github
Arixv

Abstract：

由于内存和计算资源有限，在嵌入式设备上部署卷积神经网络是非常困难的。特征图的冗余性是神经网络成功的一个重要特征，但在神经结构设计中却鲜有研究。本文提出了一个全新的Ghost模块，旨在通过极其小的代价操作生成更多更丰富的特征图。在一组特征映射的基础上，应用一系列线性变换，以较低的代价生成多个能充分揭示固有特征信息的虚特征图。本文所提出的Ghost模块可以作为一个即插即用的组件来升级现有的卷积神经网络。将Ghost模块堆叠起来设计成Ghost bottlenecks，这样就可以方便地建立轻量级的GhostNet。在基准上进行的实验表明，所提出的Ghost模块是基线模型中卷积层的一个令人印象深刻的替代方案，我们的GhostNet在ImageNet ILSVRC-2012分类数据集上具有与MobileNetV3相似的计算成本，可以实现更高的识别性能(例如75:7%的top-1精度)。

Motivation：

如上图所示，在ResNet-50中，将经过第一个残差块处理后的特征图拿出来，其中三个相似的特征图使用相同颜色的框圈出。其中一个特征图可以通过对另一个特征图进行简单的变换(用扳手表示)来近似得到。这些相似的特征映射对，就类似彼此的虚像，作者用Ghost表示。作者分析出冗余特征是网络成功的关键，本文没有刻意避开这些，而是使用两个步骤代替常规卷积。第一部分就是常规的卷积但是它们的数量会受到严格的限制，以此生成基准特征。将第一部分得到的特征图作为固有卷积，应用一系列的线性变换生成更多更丰富特征图。在不改变输出特征图尺寸的情况下，与普通卷积神经网络相比，Ghost模块的参数总需求和计算复杂度都有所降低。

Approach:

操作比较简单，先试用一个限制维度大小的卷积层提取基准特征，再对基准特征使用线性函数生成更多更丰富的特征。模型压缩率如下图公式：

与现有方法的不同：
1.与那些利用1x1点卷积的方法相比，Ghost模块对固有卷积的操作可以不限制卷积核大小。
2.现有的方法采用逐点卷积跨通道处理特征，然后采用深度卷积处理空间信息。与之相反，Ghost模块首先通过普通卷积操作生成小数量的固有特征图，此时的空间大小信息已经固定，只需要再通过简单的线性变化进行空间通道的扩充和丰富。
3.在过去的结构中，处理每个特征图的操作仅限于深度卷积或移位操作，而Ghost模块中的线性操作可以具有较大的多样性。
4.在Ghost模块中，同等映射与线性变换并行，以保持原有的特征映射。

Experiments:

1.CIFAR-10实验结果

2.ImageNet实验结果

3.GhostNet实验结果