模型剪枝：Learning Efficient Convolutional Networks through Network Slimming

论文：https://arxiv.org/abs/1708.06519

代码：https://github.com/liuzhuang13/slimming

简介

由于深度学习模型大小以及计算资源的限制，导致模型部署时受到了很大阻碍，为了解决这个问题，就形成了一个新的领域：模型压缩。常见的方法有：量化、剪枝、蒸馏等。
本文便是“剪枝”当中一篇非常经典且有效果的一篇文章。

相关工作

图片来自：https://www.codenong.com/cs106948573/

图片来自：https://blog.csdn.net/h__ang/article/details/89376079

方法

1）使用L1 regularization对BN层的scaling factor进行稀疏化训练

2）将scaling factor较小的参数相连接的filter减掉，达到减少模型size的目标

3）再重新finetune剪枝后的网络

 

后面把论文读完，代码跑跑，再来填坑