使用pytorch进行网络修剪

有一段时间没干正事了，早前一直没找到合适的pytorch的剪枝压缩代方法，现在看来,主要是姿势不对。这几天集中突击了一下网络压缩的pytorch剪枝，做一个记录。

简述剪枝

以前早前弄了一下caffe模型的压缩看这里，懵懵懂懂只知道这是深度学习模型做好之后的后处理工作，实际场景进行效率提升时候会用的到，是深度学习的一个大方向。

先从这个小网络剪枝的demo开始说起。

剪枝的主要流程

1. 网络的重要程度评估

对网络进行剪枝首先要知道该删除那些参数，对卷积层和全连接层的剪枝方法是不一样的，jacobgil提到到L1和L2方法，Oracle pruning等。

• L1: w = |w|
• L2: w = (w)^2

具体可以看看他提到的几篇论文，我就不赘述了。使用这些方法得到网络权重的排名，按大小派，全连接就直接排序了，卷积就需要看了因为有些按通道有些是按层进行剪枝。具体看看这里有对比[Quantizing deep convolutional networks for efficient inference: A whitepaper]。demo就是安通道和L1范数进行剪枝的。评估之后可以得到网络同一层之间，通道的排序，统计模型所有conv layer的通道数，同时记录并返回它们的卷积层号和通道编号。
主要由这两个函数进行操作。

compute_rank()
normalize_ranks_per_layer()

2. 移除不重要的网络层

移除不重要的网络层是剪枝的理所当然的事，但是也是最复杂的一个操作。受限于当前的深度学习框架的限制，小白们对这种取参数和新建网路层这种复杂手艺表示看不懂。caffe剪枝可以看看这里L1剪枝，pytorch和caffe剪枝不一样，因为caffe的结构，是过文件进行编写的，容易查看。pytorch的模型结构，就看个人的手艺了，不是自己写的估计够呛啊。
和caffe的流程类似，通过建立一个新层，新层的输入和输出的数量通过移除的比例确定，参数随机初始化，把老层的参数进行copy。copy的手法就是，通过确认遍历整个模型参数，copy重要的参数索引，不copy重要的参数索引。之后把新的层和新的参数，重新装入net中。

• 类似：

net.feature = conv

• demo中的主要参数函数为

prune()
prune_conv_layer()

3.微调网络

和普通的训练没什么差别。

4. 其他

已经有大神把resnet18的剪枝方法，发出来了，提到BatchNorm层通道数修改,当所有卷积层剪枝结束，依据邻近上一个卷积层输出通道数，通过BatchNorm层继承方式，它需修改成同样的通道数。但是通用的方法是把BatchNorm和上一层conv进行融合，其中会直接删除一些结构，需要一点时间，好好看看才能实现。

参考：
大佬 jacobgil
对 resnet18进行剪枝
小网络剪枝的demo
pytorch基于卷积层通道剪枝的方法
基于Pytorch的卷积神经网络剪枝