CVPR2021论文解读--图像去噪:Pseudo 3D Auto-Correlation Network for Real Image Denoising

论文链接：https://openaccess.thecvf.com/content/CVPR2021/papers/Hu_Pseudo_3D_Auto-Correlation_Network_for_Real_Image_Denoising_CVPR_2021_paper.pdf

摘要：

图像中自相关的提取在深度学习网络中显示出巨大的潜力，例如通道域的自注意力机制和空间域的自相似机制。然而，上述机制的实现大多需要复杂的模块堆叠和大量的卷积计算，这不可避免地增加了模型复杂度和内存成本。因此，我们提出了一个伪 3D 自相关网络 (P3AN) 来探索一种更有效的图像去噪中捕获上下文信息的方法。一方面，P3AN 使用快速一维卷积代替密集连接来实现交叉交互，需要更少的计算资源。另一方面，操作不会改变特征尺寸，并且易于扩展。这意味着只需要简单的自适应融合即可获得包含信道域和空间域的上下文信息。我们的方法通过 1D 卷积和轻量级 2D 结构构建了一个伪 3D 自相关注意块，以获得更多的判别特征。已经在三个合成数据集和四个真实噪声数据集上进行了大量实验。根据定量指标和视觉质量评估，P3AN 显示出极大的优势并超越了最先进的图像去噪方法。

 

 Figure 1. Diagram of four methods to aggregate auto-correlation. Each position (e.g., red) can collect information from other pixels

 主要贡献：

Ø提出了 具有快速一维卷积的新颖空间自相关模块，方向独立性和参数共享策略可以有效地减少时间和空间复杂性，同时从完整的图像依赖项中捕获上下文信息

Ø 设计了一种轻量级的 2D 结构，以适应性地融合水平，垂直和通道三个方向上的伪 3D 相关特征

Ø 与最新的图像降噪方法相比，网络具有更低的模型复杂度和更高的性能

 

介绍：

作为一种低级视觉任务，图像去噪旨在从观察到的嘈杂图像中恢复潜在的干净图像，这是各种高级视觉和图像分析应用程序的基本步骤。自然图像中的噪声往往来源复杂，分布随机。近年来，大量先进的方法在去除合成的加性高斯白噪声方面取得了显着进展。然而，真实图像中的噪声在 CCD 或 CMOS 相机系统中往往具有复杂的生成过程。受不同相机设备和相机内处理流水线的影响，这种噪声通常是非高斯和非均匀的。因此，在真实噪声图像的恢复中，基于合成数据的去噪算法难以准确模拟和去除不规则噪声。对于盲图像去噪，由于缺乏特定的噪声统计先验，低质量的噪声图像成为唯一的指导来源。因此，从原始输入图像中更完整地捕获先验特征和自相关信息尤为重要。

图像自相关先验已被广泛探索，并在许多传统的降噪算法中发挥了重要作用。为了获得更强大的学习和表达能力，最近的方法尝试使用深度学习方法来积累更有效和更全面的先验知识。近年来，卷积神经网络（CNNS）提取的自相关特征可分为channel-wise和spatial-wise特征，分别由基于信道的模型和基于空间的模型计算。与其他高级视觉任务类似，基于通道的模型可以捕获关于感兴趣通道的非线性跨通道信息，这被定义为一种自注意力机制。通过以不同方式聚合和重新校准特征，自注意力可以捕获非线性跨通道交互并将复杂的通道依赖分配给每个通道。

基于空间的模型围绕空间自相似性展开，该空间自相似性已被证明是自然图像的强大特征。在空间域中获得全局自相关的常用方法是使用非局部块。如图，它将响应计算为所有像素的加权和。空间自相关隐藏在像素级远程上下文信息中。密集连接会生成具有高复杂度的巨大注意力图。黄等人。提出了具有稀疏连接图的交叉注意力，他们只在水平和垂直方向提取上下文信息以缩小搜索范围。但是他们仍然需要遍历每个像素以获得每个位置的全图自相关，这并不能完全发挥稀疏连接的作用。尽管利用图像的自相关先验的想法在各种恢复任务中取得了巨大的成功，但大多数以此构建的 CNN 仍然承受着较重的计算负担。

因此，图像自相关的探索在平衡模型性能和计算复杂度方面遇到了瓶颈。一方面，大多数现有方法仍然致力于构建更复杂的自相关模块以实现更好的性能，这进一步增加了在现实世界中的应用难度。另一方面，特征图通常是 3 维的，因此一个完整的自相关特征应该同时具有通道和空间方向。引入3D卷积伴随着参数的爆炸式增长是不可行的。目前有一些方法通过串联或并联结构将通道自注意力和空间自相似性结合起来。这种循序渐进的操作，不仅增加了模型的复杂度，而且破坏了局部区域的连续相关性。

为了解决上述问题，作者提出了一种伪 3D 自相关网络 (P3AN) 来模拟具有 2D 结构的 3D 卷积，并将通道和空间自相关有效地集成到一个统一的模块中。

1. 提出了一种具有快速一维卷积的新型空间自相关模块。 方向独立和参数共享的策略可以有效降低时间和空间复杂度，同时从完整的图像依赖中捕获上下文信息。
2. 在一维空间中的操作避免了降维，易于扩展。 设计了一个轻量级的 2D 结构来自适应地融合水平、垂直和通道三个方向上的相关特征，并为真实图像去噪获得更多判别性特征。
3. 评估合成和真实噪声数据集的定量指标和视觉质量，提出的网络比最先进的图像去噪方法具有更低的模型复杂度和更高的性能。

 

网络结构：

 

普通的forward网络，作者堆叠了P3AB模块和卷积层

P3AB内部的具体结构如下图所示：

作者使用1D卷积替代常用的2D卷积来更好地变换尺度并提高计算效率，作者在文中中对不同类型的卷积结构进行了对比分析：

 

参数量和性能对比：

 对于Pseudo 3D Auto-Correlation Block，作者在水平、垂直和通道三个方向遍历并在通道方向上concate产生的attention map：

 实验结果：

作者在3个合成数据集和4个Real-world真实数据集上，分别对比了去噪结果

真实数据集：

结论：

作者修改了用于特征自相关提取的流行基本卷积结构，提出的轻量级伪 3D 自相关网络 (P3AN) 避免密集连接和高维操作。 使用基于局部一维快速卷积，P3AN可以同时从水平、垂直和通道三个方向提取自相关信息。 连续块可以获得具有不同感受野的特征，这意味着有效的局部注意力也可以覆盖整个输入的全局交互。 这种聚合上下文特征的新方法将通道自注意力和空间自相似性捕获统一到同一框架中。 实验表明该方法具有更少的参数、低计算成本和较好的性能。