剪枝小白看这里

论文：《AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates》

论文地址：https://arxiv.org/abs/1907.03141

论文的三个创新点：

  1.提出混合型的结构化剪枝维度。

  2.采用剪枝算法ADMM(交替乘子优化算法)对训练过程中的正则项进行动态更新。

  3.利用了增强型引导启发式搜索的方式进行行为抽样。

结构化剪枝包括三种剪枝维度，输出通道剪枝（filter pruning）、输入通道剪枝（channel pruning）、输出通道形状剪枝（filter shape/column pruning）。如上图所示可以更加理解剪枝的不同类型。

输出通道剪枝（filter pruning）：直接删除一个卷积核。

输入通道剪枝（channel pruning）：删除每个卷积核对应的输入通道。

输出通道形状剪枝（filter shape/column pruning）：删除每个卷积核上相同位置的权重。

 

主要想要理解各个剪枝过程。