卷积神经网络通道剪枝算法小结

一、剪枝分类

        目前常见的模型剪枝算法主要分成两类，即非结构化剪枝与结构化剪枝；在不少的神经网络加速器中已经应用了这些剪枝算法，早期常见的是非结构化剪枝，例如MIT的韩松组的前几年的相关工作中就有此类应用，但是在设计中采用的特殊数据格式和额外的编码/解码会带来额外的硬件开销；

        这在基于传统系统架构的情况下，利用非结构化剪枝或者可以为NN模型的计算起到加速的作用，但是在存内计算架构下，基于ReRAM或SRAM这类紧耦合的电路结构中将很难去利用网络中存在的稀疏特征；

        为此，近年来关于剪枝的算法工作，越来越聚焦于各种结构化剪枝的方法，从剪枝尺度的角度来分的话，结构化剪枝主要包括：filter-wise、channel-wise、shape-wise以及block-wise pruning这四种；鉴于工作需要，后面主要介绍在硬件加速器中常见的通道剪枝算法。

二、通道(channel-wise)剪枝与卷积核(filter-wise)剪枝的区别

        其实从网络模型最终的呈现形式来看，通道剪枝与卷积核剪枝的效果是一样的，具体可以结合下面这张图来看：

         如果是通道剪枝的话，可以认为先剪掉输入B中的C个通道，而这会直接导致该层的所有卷积核也需要剪掉相应的通道，这样进行卷积的时候才能进行相应的匹配；这是通道剪枝对该层的影响，他还会对该层的上一层产生影响，我们知道，卷积的时候，每一组卷积核对应这一层的一个输出通道，也就是下一层的输入通道，此时B中减少了C个通道，自然就需要上一层中也需要剪掉相应的卷积核，即上图中虚线对应的卷积核。

        如果是卷积核剪枝的话，就更容易理解了，上图从左往右，先剪掉左边的两个虚线内的卷积核，这会直接导致该层的输出通道数减少，也即呈现出B中的效果，输入B的通道数减少了，那自然也会导致其层内的卷积核中的通道数减少。

        所以从上述角度来分析的话，通道剪枝与卷积核剪枝确实相似，不过也可以很明显看到，两种卷积方法的剪枝依据或者说出发点是不一样的；一般认为通道剪枝的结果，可能效果会更好一些。

        故本文后续部分主要介绍的也是通道剪枝。

三、常见的通道剪枝算法

        首先需要声明为什么只提到以下的几篇文章，主要是因为笔者在遍览近几年的通道剪枝方面的文章后发现，这些文章的方法并没有太大的改动，很多方法都是基于这几篇文章的内容进行一些修改或变型，此为其一；其二是因为在我所看到的硬件实现图像分类或者目标检测任务加速的相关文章中，其中对模型压缩处理的最常见的几种方法不外乎就是这几种；鉴于此，有如下推荐的可读文章。

        第一篇：Learning Structured Sparsity in Deep Neural Networks

        引用次数超1500，算是非常经典的一篇通道卷积文章了（其实应该归属于结构化剪枝，因为该文中提出了基于好几个wise的剪枝方案）；

        

        上图中即这篇文章中提出的集中wise剪枝方案的示意图，文章具体内容就不一一阐述了（后续文章类似）；其最主要的贡献即在于其提出的group lasso正则化方法，后面有很多工作都是在此方法基础上展开的。

        第二篇：Channel Pruning for Accelerating Very Deep Neural Networks
        此处就不放图了，文章中的一张经典图就是本文中的第一张插图；主要贡献在于其他出的通道剪枝方法是一种inference-time方法，不需要从头开始训练，在节省大量时间的情况下，还能做到很好的模型压缩效果；

        第三篇：Learning Efficient Convolutional Networks through Network Slimming

         这篇文章的这张图非常经典，如果有看过一些中文的关于加速器的大论文的话，其中最常用的通道剪枝算法就是本文中提出的这一种；即通过训练BN层中的γ参数，来作为每一层的稀疏因子，在训练完之后，对所有通道的该系数进行排序，然后通过预先设置的剪枝比例，确定γ系数的阈值，再将阈值以下的对应通道剪掉即可；其中细节，还是要自己去读文章；我想这篇文中的方法之所以应用广泛，可能还是因为方法剪枝，且容易实施吧！在GitHub上可以看到不少将此剪枝方法应用在目标检测等模型上的案例，由此可见其实际应用价值。