DDF

《Decoupled Dynamic Filter Networks》CVPR 2021

  • Homepage: https://thefoxofsky.github.io/project_pages/ddf

  • Paper: https://arxiv.org/abs/2104.14107

  • Code: https://github.com/thefoxofsky/DDF

文章目录

  • 前言
    • Abstract
    • Preliminaries
    • Decoupled Dynamic Filter
    • DDF Network for Image Classification
    • DDF as Upsampling Module
    • Object Detection with DDF-Up


前言

本文是加州大学默塞德分校Ming-Hsuan Yang团队在动态滤波器卷积方面的工作,已被CVPR2021接收。本文针对标准卷积存在的两个问题:内容不可知与计算量大问题,提出了一种具有内容自适应且更轻量的解耦动态滤波器,它将常规动态滤波器拆分为空域动态滤波器与通道动态滤波器,这种拆分可以极大的降低参数量,并将计算量限定在深度卷积同等水平。在图像分类、目标检测、联合深度估计等任务上的实验表明:DDF可以带来显著的性能提升。比如,在ResNet50/101网络的即插即用分别带来了1.9%/1.3%的性能提升。

Abstract

卷积作为CNN的基础部件之一,尽管常用,但存在两个主要缺陷:(1) 内容不可知;(2) 重度计算量。动态滤波器具有内容自适应特性,但同时进一步提升了计算量。深度(depth-wise)卷积是一种轻量型版本,但它往往会造成CNN性能下降,或者需要更大的通道数。

本文提出一种解耦动态滤波器(Decoupled Dynamic Filter),它可以同时解决上述缺陷。受启发于近期注意力的进展,DDF将深度动态滤波器解耦为空域与通道动态滤波器。该分解可以大大减少参数量,并将计算量限制在与深度卷积同等水平。同时,采用DDF替换分类网络中的标准卷积可以带来显著的性能提升。比如,ResNet50/101分别可以带来1.9%与1.3%的top1精度提升,且计算量近乎减半。在检测与联合上采样方面的实验同样证实了DDF上采样变种相比标准卷积的优异性。

本文所提DDF、上采样变种DDF-Up具有以下几点优异属性:

  • Content-adaptive :DDF提供了空间可变滤波器,这使得其具有内容自适应特性;
  • Fast runtime DDF:具有与深度卷积相近的计算量,因此它的推理速度要比标准卷积、动态滤波器更快;
  • Smaller memory footprint DDF:可以显著降低动态滤波器的内存占用,这使得我们可以采用DDF直接替换所有的标准卷积
  • Consistent performance improvements:采用DDF/DDF-Up替换标准卷积可以带来一致性的性能提升,同时在不同网络、不同任务上均取得了SOTA性能。

Preliminaries

Standard Convolution

给定输入特征在这里插入图片描述标准卷积对第i像素的操作可以描述如下:
在这里插入图片描述
在标准卷积中,所有像素的滤波器W均相同,即滤波器与输入内容无关。

Dynamic Filter

不同于标准卷积,动态滤波器利用额外的自网络对每个像素生成滤波器,即上述公式中的空域不变滤波器将变为空域可变滤波器在这里插入图片描述。动态滤波器可以促进内容自适应学习,但与此同时也带来了大量的计算量与显存占用。因此,动态滤波器通常用于微型网络或者替换CNN中的个别标准卷积。

Decoupled Dynamic Filter

本文的目标在于设计一种具有“内容自适应”且“比标准卷积更轻量”的动态滤波器。考虑到单个滤波器要同时具有上述两个属性的挑战性,我们通过解耦动态滤波器达成上述目的,它的关键在于将动态滤波器解耦为空域与通道动态滤波器。正式来讲,DDF空域描述如下:
在这里插入图片描述DDF_第1张图片DDF_第2张图片
DDF module

基于DDF操作,我们精心设计了空域作为CNN基础部件的DDF模块(见上图),为此我们期望滤波器预测分支尽可能地轻量。我们注意到动态滤波器与注意力之间地相关性,我们设计了注意力类型地分类预测空域与通道滤波器。
DDF_第3张图片
对于空域滤波器预测分支,我们仅仅采用一个卷积;对于通道滤波器预测分支,我们采用了类似SE注意力地结构,即GAP+FC+ReLU+FC。由于直接预测生成的滤波器可能非常大,也可能非常小,直接使用可能导致训练不稳定。我们进行了如下滤波器规范化(FN的设计参考了BN):
DDF_第4张图片
在这里插入图片描述
Computational Complexity 计算复杂度
DDF_第5张图片
上表对比了标准卷积、深度卷积、动态滤波器卷积以及本文所提DDF在参数量、计算量、显存占用方面的对比。从中空域看到:
DDF_第6张图片
DDF_第7张图片
上表对比了不同卷积在不同分辨率下的实际耗时对比,可以看到:DDF算子的耗时明显更低。总而言之,DDF具有与深度卷积相近的推理耗时,且推理速度快于标准卷积、动态滤波器。值得注意的是,尽管生成了内容自适应滤波器,DDF的参数量仍然小于标准卷积的参数量。DDF的显存占用要远小于常规动态滤波器卷积。

DDF Network for Image Classification

图像分类是一个基本的计算机视觉任务,为验证DDF的有效性,我们基于ResNet架构进行了对比,ResNet由Basic/bottleneck构成,我们设计的模块如下图所示,即替换了bottleneck中的 3 X 3 卷积,我们将所得ResNet称之为DDF-ResNet。
DDF_第8张图片bottleneck
DDF_第9张图片blation study

DDF_第10张图片DDF_第11张图片dynamic

上表对比了不同动态滤波器的参数量、计算量以及性能方面的差异。从中可以看到:

  • 相比基线模型,DDF方案均可取得性能上的提升,且显著的降低参数量与计算量;
  • 其他诸如CondConv、DyNet、WeightNet等方案的性能均不如DDF方案。

DDF_第12张图片sota

最后,再来对比以下不同ResNet变种的性能差异。可以看到:DDF版本的ResNet具有最少的参数量、最少的计算量、最佳的精度。
DDF_第13张图片
从上表可以看到:添加更多的技巧,DDF-ResNet的性能还可以进一步提升达到81.3%。

DDF as Upsampling Module

相比标准卷积,动态滤波器的一个优势在于:它可以从引导特征(而非输入特征)处预测动态滤波器。因此,我们提出了DDF模块的扩展版DDF-Up,见下图。DDF-Up包含 s c a l e 2 scale^2 scale2个DDF操作,比如上采样为2时,DDF-Up包含4个DDF操作。DDF-Up可以轻易的嵌入到需要上采样操作的网络结构中,本文从目标检测、联合深度估计任务方面进行对比分析。
DDF_第14张图片DDF-Up

Object Detection with DDF-Up

我们采用带FPN的FasterRCNN作为基线检测架构,并将DDF-Up嵌入到FPN中,见下图。
DDF_第15张图片FPN-DDF-Up

我们采用MMDetection进行模型训练,相关超参配置略过,直接看结果,见下表。
DDF_第16张图片
从上表可以看到:相比其他上采样方案,所提DDF-Up具有更佳的性能且计算量更低。

Joint depth upsampling with DDF-Up
DDF_第17张图片
上图给出了DDF-Up在联合深度估计任务中所设计的模块,我们采用了类似PAC-Net的架构。
DDF_第18张图片
上表给出了NYUv2数据集上的性能对比,可以看到:DDF-Up-Net取得了最佳性能。 下图给出了可视化效果图,可以看到:DDF-Up-Net可以重建更多的细节。
DDF_第19张图片
DDF_第20张图片

你可能感兴趣的:(神经网络)