Convolutional Neural Network Pruning with Structural Redundancy Reduction 公式解读

此文章是来自于田纳西大学和中山大学的Zi Wang, Chengcheng Li, Xiangyang Wang这三位同学，
文献地址：Convolutional Neural Network Pruning with Structural Redundancy Reduction

想必大家看这篇论文时都在感叹，公式咋这么多！那小编就带大家来粗略解读下公式叭！

此文章的中心思想就是一句话：pruning in the layer(s) with the most structural redundancy outperforms pruning the least important filters across all layers 翻译过来也就是：在结构上最冗余的层上剪枝比在所有层中剪掉最不重要的filters表现要更好。

作者设计了一套方法用于测验每个层的冗余得分，基于这个得分，再根据现有的剪枝策略剪掉对应的filter。文章用了最常见且简单的策略——剪掉较小绝对值权重的filter。

剪枝过程如下：

由于小编主要是给大家粗略攻破公式，且论文大家还是要自己看一遍的，所以就直接开始整公式部分啦：
ps：建议和文章对比看

3， Claim

3.1 引入网络的五种剪枝情况

我们假设有两个层，分别是$\xi$层（m个filter）与$\eta$层（n个filter）在这里$n>>m$，

让$\{{\xi }_1,{\xi }_2,...,{\xi }_m\}$,$\{{\eta }_1,{\eta }_2,...,{\eta }_n\}$这些一维正随机变量表示每个filter对整个网络表现的贡献程度。

选俩正的常数$a,b>0$，用俩随机事件（$\sum _{i=1}^m{\xi }_i\ge a$）和（$\sum _{i=1}^n{\eta }_i\ge b$）去描述层$\xi$和层$\eta$表现很好。也就是$\xi$层中每个filter对整个网络的贡献加起来大于等于这个阈值a的概率很大的话，那这个$\xi$ 层就合格了～

定义 $p$为整个网络的表现，也就是上面那俩随机事件的概率进行相加，如果有多个层的话就是多个随机事件的概率进行相加，反正每个层有一个这样的随机事件。若$p_1>p_2$，则网络1的表现优于网络2。我们有以下几种情况：
（1）没有被剪枝
（2）在$\eta$层中随机剪枝一个filter
（3）在$\eta$层中剪枝最不重要（贡献最小）的一个filter $\underline{\eta }=min\{{\eta }_1,{\eta }_2,...,{\eta }_n\}$
（4）在$\xi$层中剪枝最不重要的filter $\underline{\xi }=min\{{\xi }_1,{\xi }_2,...,{\xi }_m\}$
（5）剪掉全局上最不重要的filter，也就是$min\{\underline{\xi },\underline{\eta }\}$
ps：值得注意的是，$n>>m$，所以（3）实际上代表了在filter很多的一个层中进行剪枝，（4）则是代表在filter较少的一个层中进行剪枝，（5）是在整个网络上进行剪枝

跟随着五种情况，整个网络的表现p可以由以下所计算出：

$p_o=P(\sum _{i=1}^m{\xi }_i\ge a)+P(\sum _{i=1}^n{\eta }_i\ge b)$(1)
没有进行剪枝时，就是普通的俩随机事件发生的概率进行相加

$p_{\eta r}=P(\sum _{i=1}^m{\xi }_i\ge a)+P(\sum _{i=1}^{n-1}{\eta }_i\ge b)$(2)
在$\eta$层中随机剪枝一个filter后，后面变成了$\eta$层中剩余的n-1个filter的贡献相加 大于等于b的概率

$p_{\underline{\eta }}=P(\sum _{i=1}^m{\xi }_i\ge a)+P(\sum _{i=1}^n{\eta }_i-\underline{\eta }\ge b)$(3)
在$\eta$层中剪枝最不重要的一个filter，后面变成了$\eta$层中n个filter的贡献相加后减去这个最不重要的filter的贡献 大于等于b的概率

$p_{\underline{\xi }}=P(\sum _{i=1}^m{\xi }_i-\underline{\xi }\ge a)+P(\sum _{i=1}^n{\eta }_i\ge b)$(4)
在$\xi$层中剪枝最不重要的filter，前面变成了$\xi$层中m个filter的贡献相加后减去这个最不重要的filter的贡献 大于等于a的概率

$p_g=\frac{m}{m+n}{p}_{\underline{\xi }}+\frac{n}{m+n}{p}_{\underline{\eta }}$
在全局剪枝过程中，有$\frac{m}{m+n}$的几率剪掉$\xi$层，有$\frac{n}{m+n}$的几率剪掉$\eta$层，所以这里就直接拿剪掉$\xi$层的公式（4）和剪掉$\eta$层的公式（3）进行计算

3.2 粗略证明文章的中心思想

中心思想：在结构上最冗余的层上剪枝（也就是我们的情况3）比在所有层中剪掉最不重要的filters（情况5）表现要更好。当然接下来也是公式满满：

注意 $0\le {\eta }_n-\underline{\eta }\le {\eta }_n$
$\eta$层中随便一个filter的贡献减去$\eta$层中最小的filter的贡献都会大于等于0

我们有$P(\sum _{i=1}^{n-1}{\eta }_i\ge b)\le P(\sum _{i=1}^n{\eta }_i-\underline{\eta }\ge b)\le P(\sum _{i=1}^n{\eta }_i\ge b)$(6)
这个也很好理解，概率$P(\sum _{i=1}^n{\eta }_i\ge b)$：也就是$\eta$层中所有的filter贡献相加大于等于b的概率，那这个概率肯定大于等于概率 $P(\sum _{i=1}^n{\eta }_i-\underline{\eta }\ge b)$：$\eta$层中所有的filter贡献相加减去这当中最小的贡献还大于等于b的概率，毕竟$\sum _{i=1}^n{\eta }_i\ge \sum _{i=1}^n{\eta }_i-\underline{\eta }$，
同样的道理，概率$P(\sum _{i=1}^n{\eta }_i-\underline{\eta }\ge b)$肯定也大于$P(\sum _{i=1}^{n-1}{\eta }_i\ge b)$，因为$\sum _{i=1}^n{\eta }_i-\underline{\eta }\ge \sum _{i=1}^{n-1}{\eta }_i$

把公式(6)的关系带入公式（1）（2）（3），也就意味着$p_{\eta r}\le p_{\underline{\eta }}\le p_o$，具体来说，就是在$\eta$层中随机剪枝一个filter的表现$\le$在$\eta$层中剪枝最不重要的一个filter$\le$不剪枝！

3.3 详细比较五种情况

3.3.1 切比雪夫不等式

由于要用到切比雪夫不等式，我们简单复习一下百度百科上切老师的不等式：

切比雪夫不等式可以使人们在随机变量X的分布未知的情况下，对事件$|X-\mu |\le ϵ$的概率作出估计。

要使用切比雪夫不等式，那么就要保证$E(X),D(X)$都要存在且有限。

设随机变量X具有数学期望$E(X)=\mu$，方差$D(X)={\sigma }^2$，则对任意正数$ϵ$，不等式$P\{|X-\mu |\ge ϵ\}\le \frac{{\sigma }^2}{{ϵ}^2}$ 或者$P\{|X-\mu |\le ϵ\}\ge 1-\frac{{\sigma }^2}{{ϵ}^2}$成立。

$|x_n-a|\ge ϵ$若对于任意的$ϵ\ge 0$，当n很大时，事件“$|x_n-a|\ge ϵ$”的概率接近于0，则称随机变量序列{$X_n$}依概率收敛于a。正是因为概率，所以不排除小概率事件的发生。所以，依概率收敛是不确定现象中关于收敛的一种说法，记为$x_n\stackrel{P}{\to }a$

3.3.2 使用切比雪夫不等式

对于在 $\eta$层中的这些filter，文中假设filter对网络表现的贡献不能为无穷大，也就是这些filter的贡献的方差是有界的，同时我们注意，每个filter ${\eta }_i$都是随机变量，毕竟我们是证明不管哪个网络都存在这个定理，每个filter都是不一样的，所以我们可以对每个filter ${\eta }_i$进行方差和期望的计算。

$\exists C_1>0,s.t.D{\eta }_i\le C_1,i=1,2,...,n.$(7)
存在一个$C_1$，满足$\eta$层中每个filtrt的方差$\le C_1$

通过切比雪夫不等式，对于任意真值$ϵ>0$:
$P(\frac{1}{n}|\sum _{i=1}^n({\eta }_i-E{\eta }_i)|\ge ϵ)\le \frac{D(\sum _{i=1}^n{\eta }_i)}{{ϵ}^2{n}^2}$(8)
在这里，与切比雪夫不等式的标准形式$P\{|X-\mu |\ge ϵ\}\le \frac{{\sigma }^2}{{ϵ}^2}$对比，作者用 $\frac{1}{n}|\sum _{i=1}^n({\eta }_i-E{\eta }_i)|$表示平均每个filter的$|X-\mu |$，也就是$|X-E(X)|$。

至于为啥是$D(\sum _{i=1}^n{\eta }_i)$?
我们把不等式（8）左边稍微换个形式
$P(|\sum _{i=1}^n({\eta }_i-E{\eta }_i)|\ge nϵ)\le \frac{D(\sum _{i=1}^n{\eta }_i)}{(nϵ{)}^2}$，这就表示累加每个filter的$|X-\mu |$，切比雪夫不等式右边的方差${\sigma }^2$自然也变成累加每个filter的方差。

由公式（7），我们可以得出$Conv({\eta }_i,{\eta }_j)\le \sqrt{D{\eta }_i\ast D{\eta }_j}\le C_1$

这个不等式又是咋来的咧，我们要回顾下协方差系数${\rho }_{XY}=\frac{Conv(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$，协方差系数表示随机变量X与Y的相关系数，这个相关系数的范围是[0,1]，为0时则说明X与Y不线性相关，为1则说明完全线性相关。

这个是次要的，既然我们的$\rho \in [0,1]$，那么分子就一定小于等于分母，所以$Conv({\eta }_i,{\eta }_j)\le \sqrt{D{\eta }_i\ast D{\eta }_j}$，最后由于公式（7）$D{\eta }_i\le C_1$，那么自然$\sqrt{D{\eta }_i\ast D{\eta }_j}\le \sqrt{C_1^2}=C_1$

我们进一步定义在$\eta$层有$C_{2}n(0\le C_2\le 1)$对相关的filter，然后文中贴出与这句话等价的公式 $\#\{(i,j):Conv({\eta }_i,{\eta }_j)\ne 0,i\ne j,i,j=1,...,n.\}\le C_{2}n$

这又是在干什么咧，#其实代表数量，由于在公式（8）中我们还要计算$D(\sum _{i=1}^n{\eta }_i)$，那其实$D(\sum _{i=1}^n{\eta }_i)=\sum _{i=1}^{n}D{\eta }_i+\sum _{i\ne j}Conv({\eta }_i,{\eta }_j)$ ，所以我们实际上还要计算${\eta }_i,{\eta }_j$的协方差，那我们就要估计下有多少对这样的协方差计算，上面提到$\#\{(i,j):Conv({\eta }_i,{\eta }_j)\ne 0,i\ne j,i,j=1,...,n.\}\le C_{2}n$，所以最多有$C_{2}n$对。

既然我们的不等式都到齐了
$D{\eta }_i\le C_1$,
$\#\{(i,j):Conv({\eta }_i,{\eta }_j)\ne 0,i\ne j,i,j=1,...,n.\}\le C_{2}n$

那我们就开始放缩了：
$D(\sum _{i=1}^n{\eta }_i)=\sum _{i=1}^{n}D{\eta }_i+\sum _{i\ne j}Conv({\eta }_i,{\eta }_j)\le C_{1}n+C_1{C}_{2}n=C_1(1+C_2)n$
$C_{1}n$代表n个$C_1$，$C1C2n$代表$C_{2}n$个$C_1$，因为协方差也是方差嘛，我们定义了方差的话都要小于等于$C_1$

通过公式（8），我们可以得出：
$P(\frac{1}{n}|\sum _{i=1}^n({\eta }_i-E{\eta }_i)|\ge ϵ)\le \frac{C_1(1+C_2)}{{ϵ}^{2}n}$

重点来了，回顾下切比雪夫依概率收敛：
$|x_n-a|\ge ϵ$若对于任意的$ϵ\ge 0$，当n很大时，事件“$|x_n-a|\ge ϵ$”的概率接近于0，则称随机变量序列{$X_n$}依概率收敛于a。正是因为概率，所以不排除小概率事件的发生。所以，依概率收敛是不确定现象中关于收敛的一种说法，记为$x_n\stackrel{P}{\to }a$

若n足够大时，$\underset{n\to +\infty }{\lim }\frac{C_1(1+C_2)}{{ϵ}^{2}n}=0$，也就是我们的事件$P(\frac{1}{n}|\sum _{i=1}^n({\eta }_i-E{\eta }_i)|\ge ϵ)$发生的概率小于等于一个无穷接近于0的数，那这个概率就更接近0了！我们把$\frac{1}{n}|\sum _{i=1}^n({\eta }_i-E{\eta }_i)|$看成是$|\frac{1}{n}|\sum _{i=1}^n({\eta }_i-E{\eta }_i)|-0|$，与$|x_n-a|$对比下，得出结论：
$\frac{1}{n}|\sum _{i=1}^n({\eta }_i-E{\eta }_i)|$依概率收敛到0！也就等价于$\frac{1}{n}|\sum _{i=1}^n({\eta }_i-E{\eta }_i)|\stackrel{P}{\to }0$。

假设在$\eta$层filter的数量n足够大，比如$n>\frac{2b}{{ϵ}_0}$，我们考虑到一个filter的贡献虽然是正数，但它也可能是正无穷小，所以我们设filter的贡献的期望有一个一致的正下界：
$\exists {ϵ}_0>0,s.t.E{\eta }_i\ge {ϵ}_0,i=1,2,...,n.$(9)
接下来又是一堆高深的变形放缩：
$P(\frac{1}{n}\sum _{i=1}^n({\eta }_i-E{\eta }_i)>-\frac{{ϵ}_0}{2})=P(\sum _{i=1}^n({\eta }_i-E{\eta }_i)>-\frac{{ϵ}_0}{2}n)$
$=P(\sum _{i=1}^n{\eta }_i>\sum _{i=1}^{n}E{\eta }_i-\frac{{ϵ}_0}{2}n)=P(\sum _{i=1}^n{\eta }_i>\frac{{ϵ}_0}{2}+\sum _{i=1}^{n}E{\eta }_i-{ϵ}_{0}n)$

$=P(\sum _{i=1}^n{\eta }_i>\frac{{ϵ}_0}{2}n+\sum _{i=1}^n(E{\eta }_i-{ϵ}_0))$
又因为$E{\eta }_i\ge {ϵ}_0$，所以：
$P(\sum _{i=1}^n{\eta }_i>\frac{{ϵ}_0}{2}n+\sum _{i=1}^n(E{\eta }_i-{ϵ}_0))\le P(\sum _{i=1}^n{\eta }_i>\frac{{ϵ}_0}{2}n)$

最后由于我们设的$n>\frac{2b}{{ϵ}_0}$，n缩小到$\frac{2b}{{ϵ}_0}$，那我们的$\frac{{ϵ}_0}{2}n$也就缩小到了b，$\sum _{i=1}^n{\eta }_i$大于一个更小的数，几率就扩大了：
$P(\sum _{i=1}^n{\eta }_i>\frac{{ϵ}_0}{2}n)\le P(\sum _{i=1}^n{\eta }_i>b)$

让n趋近于正无穷，回忆一下我们还有$\frac{1}{n}|\sum _{i=1}^n({\eta }_i-E{\eta }_i)|\stackrel{P}{\to }0$，我们可以得出：
$\underset{n\to +\infty }{\lim }P(\sum _{i=1}^n{\eta }_i>b)\ge \underset{n\to +\infty }{\lim }P(\frac{1}{n}\sum _{i=1}^n({\eta }_i-E{\eta }_i)>-\frac{{ϵ}_0}{2})=1$
因为0大于一个负数的概率不管怎么说都是1嘛，所以$\underset{n\to +\infty }{\lim }P(\sum _{i=1}^n{\eta }_i>b)=1$，概率毕竟不可能超过1哒

$\underset{n\to +\infty }{\lim }P(\sum _{i=1}^n{\eta }_i-{\eta }_r>b)=\underset{n\to +\infty }{\lim }P(\sum _{i=1}^n{\eta }_i-\underline{\eta }>b)=1$
n趋于无穷大了，随机剪一个filter或者剪掉$\eta$层贡献最小的filter都不会咋样，他们的总贡献大于b的概率就是等于1

然后我们可以得出，当n无穷大时，$p_{\eta r}\approx p_{\underline{\eta }}\approx p_o$
接着，因为n为无穷大，$p_{\underline{\xi }}\le p_o\approx p_{\underline{\eta }}$
前一个$p_{\underline{\xi }}\le p_o$可以通过对比公式(1)和公式(4)得出
又因为$p_g$是$p_{\underline{\xi }}$和$p_{\underline{\eta }}$的加权求和，所以$p_{\underline{\xi }}\le p_g\le p_{\underline{\eta }}$

我们不能从公式（5）通过n趋近于正无穷大得出$p_g\approx p_{\eta }$，因为我们不能假设m/n趋近于0，m有多大我们不知道！

总结以上，我们可以得出$p_{\underline{\xi }}\le p_g\le p_{\eta r}\le p_{\underline{\eta }}\le p_o$
由此我们详细证明了在最多冗余的层中剪枝比在所有层中剪最不重要的层表现要更好，也就是说详细证明了中心思想～

4， Methodology

从只有$\xi ,\eta$这两层扩展到有L层，4.1都是概念引入，应该没啥不好理解的，小编带大家从4.2开始叭

4.2 Pruning with structural redundancy reduction

4.2.2 $l$-covering number

让$l>0$成为一个被固定的自然数，如果$X\in \bigcup \{B(x^{{}^{\prime }},l):x^{{}^{\prime }}\in X_0\}$，在这$B(x^{{}^{\prime }},l)=\{x\in X:d(x^{{}^{\prime }},x)\le l\}$是球心为$x^{{}^{\prime }}$半径为$l$的球，那么子集$X_0\in X$就被称为是X的$l$-cover set。如果满足上述条件，就说明X被这些球$\{B(x^{{}^{\prime }},l):x^{{}^{\prime }}\in X_0\}$所包裹。

这啥意思咧，我刚看这篇论文的时候想的是：一个球心为$x^{{}^{\prime }}$半径为$l$的球能把X给全部包裹，并且可能有多个这种能把X全部包裹的球？？？我怎么想也不合理！
看到后面我就知道了：$\bigcup$表示累加（没错，我之前以为是印刷错误，我看成竖着的包含符号了[捂脸 ]），表示累加说明啥，说明这些球心为$x^{{}^{\prime }}$半径为$l$的小球只用包裹住X的一小部分，这些小球包裹的地方累加起来如果能把X全部覆盖，那么就说明X被这些球$\{B(x^{{}^{\prime }},l):x^{{}^{\prime }}\in X_0\}$所包裹，这些球心的集合也就被称为是$X_0$。

我们把X的$l$-covering number记为：
$N_l^c=(N_l^c(X))=min\{\#X_0:X_{0}isanl-coversetofX\}$
也就是用最少的球包裹住X，这些球的个数就是X的$l$-covering number

4.2.3 Decomposition of a graph

接下来就是文章的又一个概念quotient space，靠字面很不好理解嗷，那我们就来看看是真么回事儿叭：

设$x,y\in X$，若对任何$x\ne y$，都存在一条从$x$到$y$的路径，则说明这个图是被连接的（个人感觉和连通图还是有区别，所以翻译成被连接的图），且路径距离不为无限大。对于没有被连接的图（X，E），我们定义一个符号“～”：当且仅当x到y只有一条路径存在，则计作$x\sim y$。很明显，“～”是一个等价的关系。

让$X/\sim =\{X_1,X_2,...,X_k\}$代表quotient space：依据这些等价关系来分解X，也就是把X分解为一些不相交的集合$X=X_1\bigcup X_2\bigcup ...\bigcup X_k$，这里$X_i$里面的元素都是等价的，相当于分成了k个类。我们把k叫做the quotient space size。
$X/\sim$的意思就是：X依据“～”的等价关系

4.2.4 Estimate of the 1-covering number

终于写到最后一部分了，公式纯手打，真累人

因为计算 $l$-covering number是np难问题，也非常的花时间，所以文中用了个轻量级的方法去预测这个$N_1^c$。提醒大家一下，$l$代表半径的长度，我们这个标题是1-covering number，所以就是半径为1的情况嗷。设$X_0$为图X的1-cover set，也就是$\#X_0=N_1^c$（#代表数量）。我们接下来来预测一下这个$\#X_0$。

固定半径$l(=1or2)$，让$x_1^{(l)}\in X,s.t.deg(x_1^{(l)})=max\{deg(x):x\in X\}$
也就是$x_1^{(l)}$的度为X中顶点最大的度。那其实$x_2^{(l)}$也很好理解了，就是第二大的度（很大度的样子 ），以此类推。

那么定义一个有限的序列$\{x_1^{(l)},x_2^{(l)},...,x_{nl}^{(l)}\}$，如果我们定义一个$x_k^{(l)}$，我们就有接下来的两种情形：

（1）$X=\bigcup _{i=1}^{k}B(x_i^{(l)},l)$，也就是我们的X被这些球完全的包裹了，那k就是X的$l$-covering number，于是乎我们停止序列的构建，获得最终这些球心$\{x_1^{(l)},x_2^{(l)},...,x_{nk}^{(l)}\}$，这也不用进行轻量级预测了（运气比较好 ）

（2）那要是我们的X没有被这k个球完全包裹，就在X中选取除了这k个球的范围之外的下一个球心
$x_{k+1}^{(l)}\in X\backslash \bigcup _{i=1}^{k}B(x_i^{(l)},l)$，其中
$deg(x_{k+1}^{(l)})=max\{deg(x):x\in X\backslash \bigcup _{i=1}^{k}B(x_i^{(l)},l)\}$
那么$x_{k+1}^{(l)}$的度就为X中第k+1大的度（很委屈的样子 ）。

重复以上的步骤，最终我们获得序列：
$\{x_1^{(l)},x_2^{(l)},...,x_{nl}^{(l)}\},l=1or2$
意思就是如果半径是1，我们就有n1个这样的圆心，如果半径是2，就有n2个。

至于n1和n2到底是怎么来的。。。我实在没招了就发邮件问了原作者，谢谢他的解释～～～，他的原话是：

n1和n2是根据文章中提到的归纳法定义的，文中为了数学上的严谨，写的可能有些晦涩，你可以这样理解：以l=1为例，我们每次取图中degree最大的顶点，然后把这个顶点和与其相连的顶点都去掉，重复这个过程，直到图变成空的为止。那么我们取出的顶点数量就是n1。这个n1的值一定是大于等于$N_1^c$的，因为取出的这n1个顶点一定是图的1-cover set，但这个1-cover set不一定是最优的cover set。

n1的构建过程是我们每次取点并将其第一层的邻居点删掉。同理，得到n2的点集就是我们每次取点的时候，把它的两层邻居都删掉，直到图变成空的，然后取出的点的数量就是n2。然后我们在文章中证明了n2是小于等于$N_1^c$的。这个证明逻辑比上面n1的稍微复杂些，我就不翻译了，但我想你带着上面关于n1和n2的定义的解释去读，应该不难理解。

有了他的解释，那接下来就容易多了～

接下来就是关键的预测的一步了，大致意思就是：当半径l=1时，我们有k个球覆盖X；那么当半径=2时，我们的球变大了，X的范围不变，那么球的数量就变少了，也就是当半径=2时，我们的$2$-covering number也就小了。
最终得到$n_2\le \#X_0=N_1^c=k$，所以我们的$n2\le N_1^c\le n1$

当n1和n2相差无几时，就可以用$\frac{1}{2}(n_1+n_2)$来预测$N_1^c$，实际情况中大量实验证明这也是行得通的，因为n1和n2确实相差不大。

5， 最后

希望小伙伴们看了小编粗略的公式解读后可以对这篇文章理解的更深一点，这也是小编第一篇公式解读，希望喜欢的朋友不要吝啬你们的点赞，有疑问的和讨论的和反驳的欢迎在评论区一起探讨～～
好了小编要去看下一篇没啥公式的论文了，886～

ps：真的很累人啊这个公式编辑！比如公式8我是
P(\frac{1}{n}| \sum\limits_{i=1}^n (\eta_i-E\eta_i)| \geq \epsilon) \leq \frac{D( \sum\limits_{i=1}^n\eta_i )}{\epsilon^2 n^2}
这样打出来的你敢信！