模型剪枝学习笔记 --- Channel Pruning via Automatic Structure Search

Channel Pruning via Automatic Structure Search

代码：https://github.com/lmbxmu/ABCPruner
论文下载链接：https://arxiv.org/abs/2001.08565

该论文是 厦大&鹏程实验室&北大&腾讯优图新提出的一种基于生物启发式搜索算法-人工蜂群（artifical bee colony）算法（ABC）的通道剪枝算法。
引入了类似传统机器学习中常用的生物进化算法—遗传，蚁群，布谷鸟算法的ABC，感觉挺有意思。

摘要

通道(channel)剪枝是压缩深度神经网络的主要方法之一。为此，大多数现有的剪枝方法着重于通过重要性/优化或基于经验法则设计的正则化来选择通道（filters），这会导致次剪枝。

在本文中，我们提出了一种新的基于人工蜂群(artifical bee colony)算法（ABC）的通道剪枝方法，称为ABCPruner，其目的是有效地找到最佳的剪枝结构，即每一层中的通道数，而不是选择“重要”通道。为了解决深层网络中难以剪枝的庞大组合，我们首先建议缩小保留通道限于特定空间的组合，这样可以大大减少剪枝结构的组合。然后，将对最佳剪枝结构的搜索公式化为一个优化问题，并集成ABC算法以自动方式解决该问题，以减少人为干扰。事实证明，ABCPruner更为有效，这也使端对端的微调得以有效进行。在CIFAR-10上进行的实验表明，ABCPruner减少了73.68％的FLOP和88.68％的参数，而VGGNet-16的准确度甚至提高了0.06％。在ILSVRC-2012上，它减少了62.87％的FLOP，并去除了60.01％的参数，而ResNet-152的准确度损失却微不足道。

ABCPruner步骤

实验性能

参考
https://blog.csdn.net/weixin_42528077/article/details/83721723