关于神经网络的轻量化

一、空洞卷积

1、dilated的好处就是不做pooling损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。

在图像需要全局信息或者语音文本需要较长的sequence信息依赖的问题中，都能很好的应用空洞卷积。

2、Deep CNN对于其他任务的一些致命性缺陷，较为著名的是：up-sampling和pooling layer的设计，在Hinton的演讲中也提到过：

1）上采样和池化层是不可学习的；

2）内部数据接结构丢失；空间层级化信息丢失；

 

二、ShuffleNet

1、The new architecture utilizes two new operations, pointwise group convolution and channel shuffle, to greatly reduce computation cost while maintaining accuracy.

2、在ShuffleNet中也使用了新的操作：点卷积组和通道重组，极大的减少了计算量（reduce computation cost）

3、ShuffleNet的核心是使用了两种操作：pointwise group convolution和channel shuffle，这在保持精度的同时大大降低了模型的计算量。其基本单元是在残差单元的基础上进行修改而来的。

4、channel shuffle

传统的group convolution（分组卷积），分组数恰好等于通道数，意味着每个组只有一个特征图，但是问题是采用了密集的 1*1 pointwise convolution。

这个问题可以解决：对1*1的卷积采用channel sparse connection，即分组操作，通道进行连接。

Group convolution分组的另一个问题是：不同组之间的特征图需要通信，否则就像是单独独立的路径，会降低网络的提取能力，这也可以解释为何要使用密集的1*1的pointwise convolution，因为要保证group convolution之后不同组的特征图之间的信息交流。

使用channel shuffle

为了达到特征通信的目的，我们不采用dense pointwise convolution，考虑channel shuffle，如下图所示：

 

原本的group convolution如a所示，只是将通道进行了分组，但是这些分组之间没有进行相互连接，因此其特征不可以共享，则可能会带来的结果就是分类效果很差。如b所示，将不同组的特征进行分块，然后各个组的块进行拼接，得到的就是将各个块进行分组+联合后的内容。