Fast Fourier Convolution 阅读笔记

快速傅里叶卷积

论文链接
NeurIPS 2020

摘要： 目前深度网络中的普通卷积以局部且固定scale的方式运行（例如，面向图像的任务广泛采用3×3 kernel），导致网络低效连接两个远距离位置。本文提出了一种具有 non-local 感受野和卷积单元内 cross-scale fusion 的新卷积算子：快速傅里叶卷积（Fast Fourier Convolution FFC）。根据傅里叶理论中的谱卷积定理，全局谱域中的逐点更新会影响傅里叶变换中涉及的所有输入特征，是 non-local 感受野的设计线索。本文提出的FFC旨在将三种不同的计算封装在一个运算单元中：
① 一个进行普通 small-kernel 卷积的 local 分支；
② 一个处理频谱叠加图像 patch 的 semi-global 分支；
③ 一个处理图像级别频谱的 global 分支。
所有分支互补处理不同的scale，通过一个多分支聚合步骤进行 cross-scale fusion。无需任何调整 FFC 就可直接替换现有网络中的普通卷积，且复杂性（例如FLOPs）相当。我们在三个视觉基准（用于图像识别的ImageNet、用于视频动作识别的Kinetics、用于人体关键点检测的MSCOCO）上对FFC进行了实验评估&#