Deep Fourier Up-Sampling 阅读笔记

深度傅里叶上采样

NeurIPS 2022
论文链接
主页链接
代码链接

摘要： 现在的卷积神经网络广泛采用空间下/上采样进行多尺度建模，但空间上采样算子（例如，插值、转置卷积、up-pooling）严重依赖于 local pixel attention，无法探索全局相关性。根据频谱卷积理论，傅里叶上采样遵循全局建模特性。与使用局部相似性执行上采样的空间上采样不同，傅里叶上采样不遵循这种局部特性，因而更具挑战性。本研究提出了一个理论上合理的 Deep Fourier Up-Sampling (FourierUp) 来解决此问题。我们重新审视了空间域和傅里叶域间的关系，揭示了傅里叶域中不同分辨率特征的变换规则，这是 FourierUp 设计的关键。FourierUp作为一个通用算子，由三个关键部分构成：① 2D离散傅里叶变换、② 傅里叶增维规则、 ③ 2D逆傅里叶变换，可以直接与现有网络集成。多个计算机视觉任务（包括目标检测、图像分割、图像去训练、图像去阴影和引导图像超分辨率）上的广泛实验表明，引入FourierUp 能提升性能。