模型剪枝学习笔记--Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming

Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming

2017年ICCV的一篇文章,属于channel pruning
创新点:

  1. 利用batch normalization中的缩放因子γ 作为重要性因子,即γ越小,所对应的channel不太重要,就可以裁剪(pruning)。
  2. 为约束γ的大小,在目标方程中增加一个关于γ的正则项,这样可以做到在训练中自动剪枝,这是以往模型压缩所不具备的。

Network slimming,利用BN层中的缩放因子γ,在训练过程当中来衡量channel的重要性,将不重要的channel进行删减,达到压缩模型大小,提升运算速度的效果。
看一下模型图,左边为训练当中的模型,中间一列是scaling factors,也就是BN层当中的缩放因子γ,当γ较小时(如图中0.001,0.003),所对应的channel就会被删减,得到右边所示的模型。
模型剪枝学习笔记--Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming_第1张图片

目标函数如下:
在这里插入图片描述
第一项是模型预测所产生的损失,第二项就是用来约束γ的,λ是权衡两项的超参,后面实验会给出,一般设置为1e-4 或者 1e-5。g(*)采用的是g(s)=|s|, 就是L1范,可达到稀疏的作用。

整体流程框图如下图所示:
模型剪枝学习笔记--Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming_第2张图片
分为三部分,第一步,训练;第二步,剪枝;第三步,微调剪枝后的模型,循环执行。

具体操作细节:
γ通常取 1e-4或者1e-5,具体情况具体分析,
γ得出后,应该怎么剪,γ多小才算小? 这里采用与类似PCA里的能量占比差不多,将当前层的γ全都加起来,然后按从大到小的顺序排列,选取较大的那一部分,通常选取70%左右(具体情况具体分析)。

λ的选取对γ的影响如图所示:
模型剪枝学习笔记--Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming_第3张图片

你可能感兴趣的:(深度学习,模型压缩与加速,计算机视觉,深度学习,剪枝,模型压缩加速)