深度网络压缩-参数剪枝一：Data-Free parameter pruning for deep neural networks

该论文通过比较同层内不同神经元的权重向量的相似性，将相似的向量合并，使得网络得到压缩。

w1=w4,这样就可以将其中一个去掉，将后面涉及到的权重相加，也就是图中的a1=a1+a4

显著度
权重向量的相似性度量，就是显著度。

以第一张图为例，εi,j表示wi和wj的差的向量，然后求其2范数的平方。
aj就是其下一层相关的权重，如果下一层layer不止一个神经元，就用平均值代替。

剪枝
在同一层求得的所有的显著度，将值较小的删除。
关于值为多少一下的删除掉，论文给出显著度的统计直方图，如下图中的右图。

实验发现左图误差快速上升的位置，就是右图中第二个峰值的位置。
那么显著度小于该值对应显著度的值都可以删除。这里的删除如上文所说其实是将两个神经元合并。