深度网络压缩-参数剪枝一:Data-Free parameter pruning for deep neural networks
该论文通过比较同层内不同神经元的权重向量的相似性,将相似的向量合并,使得网络得到压缩。w1=w4,这样就可以将其中一个去掉,将后面涉及到的权重相加,也就是图中的a1=a1+a4显著度权重向量的相似性度量,就是显著度。以第一张图为例,εi,j表示wi和wj的差的向量,然后求其2范数的平方。aj就是其下一层相关的权重,如果下一层layer不止一个神经元,就用平均值代替。剪枝在同一层求得的所有的显著度,