论文：Network Slimming----阅读笔记

这篇文章利用通道稀疏化这样一个简单但很有效的方法，可以有效解决CNN网络在现实应用中部署时面临的三大挑战：

1.模型大

2.推理时占用内存开销大

3.计算量大

在这篇论文中，提出了网络瘦身，它解决了前面提到的所有挑战。方法是将L1正则化施加到BN层的缩放因子上，L1正则化推动BN层的缩放因子趋向于零，因为每一个缩放因子都和一个特定的CNN卷积通道（或者全连接层的一个神经元）相关联，这样就能够鉴别出不重要的通道或者神经元，利用这点可以进行后续的通道剪枝，另外正则化也很少损伤性能，甚至一些情况下它会导致更高的泛化准确率，剪掉不重要的通道有时候虽然会暂时降低性能，但是通过之后对剪枝网络的微调可以对精度补偿。在剪枝之后，更窄的网络会在模型大小、运行阶段的内存占用、计算量方面都会更显得紧凑。将上面的过程重复几次，就可以通过多阶段的网络瘦身获得更紧凑的模型。

related work：

1.低秩分解：“Exploiting linear structure within convolutional networks for efficient evaluation”这篇工作中使用像奇异值分解（SVD）这样的低秩近似技术，但是这种方法主要是在全连接层的表现比较好，可以将模型大小压缩3倍，但是没有明显的速度加速，因为CNN的计算量主要是来自卷积层。

2.权重量化：“Compressing neural networks with the hashing trick”这篇工作中的HashNet提出了量化网络权重，在训练之前，网络权重被分为不同的组，在每一个组内的权重共享权值。按照这种方法，只有共享的权重