剪枝基础与实战(3): 模型剪枝和稀疏化训练流程

 

Model Pruning

• 相关论文：Learning Efficient Convolutional Networks through Network Slimming (ICCV 2017)

• 考虑一个问题，深度学习模型里面的卷积层出来之后的特征有非常多，这里面会不会存在一些没有价值的特征及其相关的连接？又如何去判断一个特征及其连接是否有价值？

先给出答案: 在 Batch Normalize 层的缩放因子上施加 L1 正则化·

优点

• 不需要对现有 CNN 架构进行任何更改
• 使用 L1 正则化将 BN 缩放因子的值推向零
  • 使我们能够识别不重要的通道（或神经元），因为每个缩放因子对应于特定的卷积通道（或全连接层的神经元）
  • 这有利于在接下来的步骤中进行通道级剪枝
• 附加的正则化项很少会损害性能。不仅如此，在某些情况下，它会导致更高的泛化精度
• 剪枝不重要的通道有时可能会暂时降低性能，但这个效应可以通过接下来的修剪网络的微调来弥补
• 剪枝后，由此得到的较窄的网络在模型大小、运行时内存和计算操作方面比初始的宽网络更加紧凑。上述过程可以重复几