【模型剪枝】|Learning Efficient Convolutional Networks through Network Slimming

作用对象：BN层（和不重要的通道）
作用方式： imposes sparsity-induced regularization on the scaling factors（比例因子）
通过对批量归一化（BN）层中的缩放因子强加L1正则化将BN缩放因子的值逼近零，因为每个缩放因子对应于特定的卷积通道（或完全连接的层中的神经元），使得我们能够识别不重要的通道。这有助于在随后的步骤中进行通道层次的修剪。

在几个基准数据集和不同网络架构上的实验表明，我们获得的CNN模型，其大小压缩高达20倍，原始计算操作减少5倍，同时实现了相同甚至更高的精度。此外，我们的方法利用传统硬件和深度学习软件包实现模型压缩和推理加速，因此得到的轻量化模型不需要任何稀疏存储格式或特殊的计算操作。

背景

结构化修剪/稀疏化。 最近，[23]提出在训练好的CNN中修剪具有较小输入权重的信道，然后对网络进行微调以恢复准确性。 [2]通过在训练之前在卷积层中随机停用输入 - 输出信道连接的方式来引入稀疏性，这能产生具有中等精度损失的较小网络。 与这些工作相比，我们在训练期间明确地在优化目标中强加了通道方式稀疏性，导致更平滑的通道修剪过程和很少的准确性损失。

[37]在训练期间强加神经元水平的稀疏性，因此可以修剪一些神经元以获得紧凑的网络。 [35]提出了一种结构化稀疏度学习（SSL）方法，用于稀疏CNN中不同级别的结构（例如滤波器，信道或层）。 两种方法都在训练期间利用群组稀疏性规则化来获得结构化稀疏性。 我们的方法不是在卷积权重上采用群稀疏度，而是在通道方面的缩放因子上强加简单的L1稀疏性，因此优化目标要简单得多。

稀疏

我们的目标是提供一个简单的方案来实现深度CNN中的信道层次的稀疏。 在本节中，我们首先讨论了信道层次稀疏的优势和挑战，并介绍了如何利用批量规范化中的扩展层（缩放因子）来有效地识别和修剪网络中不重要的信道。

通道层次稀疏性提供了灵活性和易于实现之间的良好折衷。它可以应用于任何典型的CNN或全连接的网络（将每个神经元视为信道），并且所得到的网络本质上是未修整网络的“稀疏”版本，其可以在传统CNN平台上被有效地推断。

因为通道的输入或输出端处的所有权重不可能恰好具有接近零的值。 如[23]所述，预训练的ResNets上的通道修剪只能减少参数数量的~10％才不会导致精度损失。 [35]通过将稀疏正规化强制纳入训练目标来解决这个问题。 具体而言，他们采用组LASSO在训练期间将所有对应于同一通道的滤波器权重同时逼近零。 然而，这种方法需要相对于所有滤波器权重来计算附加正则化项的梯度，这是非常重要的。 我们引入一个简单的想法来解决上述挑战

通常的做法是在卷积层之后插入BN层，保留通道缩放/移位参数。因此，我们可以直接利用BN层中的γ参数作为网络瘦身所需的比例因子。它具有不向网络引入任何开销的巨大优势。事实上，这也许是我们学习有用的通道修剪缩放因子的最有效方法。 1），如果我们将缩放层添加到没有BN层的CNN，则缩放因子的值对于评估通道的重要性没有意义，因为卷积层和缩放层都是线性变换。通过放大卷积层中的权重的同时减小缩放因子值，可以获得相同的结果。 2），如果我们在BN层之前插入缩放层，缩放层的缩放效果将被BN中的归一化处理完全取消。 3），如果我们在BN层之后插入缩放层，则每个通道有两个连续的缩放因子。

通道剪枝和微调

在通道层次稀疏诱导正则化训练之后，我们获得了一个模型，其中许多比例因子接近于零（见图1）。 然后我们可以通过删除所有传入和传出连接以及相应的权重来修剪具有接近零比例因子的通道。 我们使用全局阈值在所有层上修剪通道，其被定义为所有比例因子值的特定百分位数。
例如，我们通过选择百分比阈值为70％来修剪具有较低缩放因子的70％通道。 通过这样做，我们获得了一个更紧凑的网络，具有更少的参数和运行时内存，以及更少的计算操作。

当修剪比例高时，修剪可能暂时导致一些精确度损失。 但是，这可以通过修剪网络上的后续微调过程得到很大程度的补偿。 在我们的实验中，在许多情况下，微调的轻量化网络甚至可以实现比原始未修网络更高的精度。

训练

正常训练。 我们通常从头开始训练所有网络作为基线。 所有网络都使用SGD进行训练。 在CIFAR和SVHN数据集上，我们分别使用尺寸为64的小批量训练160和20个epochs。 初始学习率设置为0.1，并且在训练epoch总数的50％和75％处除以10。
在ImageNet和MNIST数据集上，我们分别训练60和30个epochs的模型，批量大小为256，初始学习率为0.1，在1/3和2/3的训练epoch之后除以10。 我们使用10-4的重量衰减和0.9的Nesterov动量[33],不使用权重衰减。 采用[13]引入的权重初始化。 我们的优化设置参考[10]原始实现。
在我们的所有实验中，我们将所有通道缩放因子初始化为0.5，因为与[10]中的默认设置（全部初始化为1）相比，这为基线模型提供了更高的准确性。

稀疏训练。 对于CIFAR和SVHN数据集，当使用通道稀疏正则化训练时，控制经验损失和稀疏度之间权衡的超参数λ由CIFAR-10上的10-3,10-4,10-5的网格搜索确定。

对于VGGNet，我们选择λ= 10-4，
对于ResNet和DenseNet，λ= 10-5。
对于ImageNet上的VGG-A，我们设置λ= 10-5。 所有其他设置保持与正常训练相同。

剪枝
为简单起见，我们使用全局修剪阈值。

修剪阈值由所有缩放因子中的百分位数确定，例如，修剪40％或60％的通道。 修剪过程是通过构建一个新的较窄的模型并从稀疏训练的模型中复制相应的权重来实现的

finetune
微调。 在修剪之后，我们获得了一个更窄更紧凑的模型，然后进行了调整。 在CIFAR，SVHN和MNIST数据集上，微调使用与训练相同的优化设置。 对于ImageNet数据集，由于时间限制，我们仅在5个epochs内以10-3的学习速率调整修剪的VGG-A。