《FPGM：Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration》论文笔记

参考代码：filter-pruning-geometric-median

1. 概述

导读：在之前的网络剪枝文章中一般将网络filter的范数作为其重要性度量，范数值较小的代表的filter越不重要，将其从网络中裁剪掉，反之也就越重要。这篇文章分析了这一类型的网络剪枝算法，并指出这类方法并不是很高效，因为这一类的方法如果要较为成功的使用所依赖的两点并不是很容易满足：

• 1）filter的范数偏差应该比较大，这样重要和非重要的filter才可以很好区分开；
• 2）不重要的filter的范数应该足够的小；

这篇文章提出了一种新的filter剪裁方法FPGM（Filter Pruning via Geometric Median），它使用层中filter的几何中心特性，由于那些靠近中心的filter可以被其它的表达，因而可以将其剔除，从而避免了上面提到的两点剪枝条件，从信息的冗余度出发，而不是选择范数少的进行剪枝。

文章的算法不从范数的角度进行filter的选择，这是因为基于范数的选择方法其前提条件在实际过程中是较难实现的，其期望的分布如下图所示：

上面这个分布的两个要点也是前文中叙述的两点。因而对比剪裁的结果，两种方法在相同的filter空间得到的剪裁结果也是不尽相同，见下图所示：