Filter Grafting for Deep Neural Networks

Meng F, Cheng H, Li K, et al. Filter Grafting for Deep Neural Networks[J]. arXiv preprint arXiv:2001.05868, 2020.

收录于 CVPR2020

神经网络存在天然的无效滤波器，滤波器剪枝（filter pruning）技术主要对无效的滤波器进行移除使网络的推理速度增加。然而在这篇文章中，优图提出滤波器嫁接（filter grafting）技术。和pruning相反，优图并不是移除网络的无效滤波器，而是通过引入外部信息的方法来激活无效滤波器使之重新发挥作用。激活的方式为将其他网络的有效滤波器的参数嫁接到无效滤波器上。为了更好地发挥grafting的性能，优图同时提出了信息熵相关的指标评估滤波器的好坏，并用自适应的方式来平衡嫁接网络和被嫁接网络的参数。通过大量的实验，表明grafting后的网络在有效滤波器的数量上和模型性能上均有大幅度的提高。

正在上传…重新上传取消

论文中提到3中嫁接方法：

• Noise as Scions
• Internal Filters as Scions
• External Filters as Scions

1、Noise as Scions（使用噪音嫁接）

使用高斯噪声对无效滤波器进行修改

2、Internal Filters as Scions（使用内部滤波器进行嫁接）

正在上传…重新上传取消

首先根据l1范数对滤波器进行排序，然后将l1范数较大的滤波器的权值移植到l1范数较小的滤波器中。

3、External Filters as Scions（嫁接外部滤波器）

正在上传…重新上传取消

 

两个网络之间的嫁接。每个网络接受来自另一个网络的信息。

 

尚未解决的问题：

1) 在嫁接算法中，如何在网络数目较大的情况下提高网络的性能

2) 如何将嫁接应用到具有不同网络结构的多个网络上