cvpr 2021图像增强论文笔记Multi-Stage Progressive Image Restoration详解

CVPR 2021 Multi-Stage Progressive Image Restoration

code: https://github.com/swz30/MPRNet

简要记录下这篇文章的要点。

提出问题：

图像增强领域框架基本上分为两种设计：

1. Encoder-decoder

   可以有效获取多尺度信息，但会牺牲空间细节；

2. A single scale feature pipeline

   得到的图像有很好的空间细节，但是由于感受野较小，语义鲁棒性较差；

   因此：

   Image restoration tasks demand a complex balance between spatial details and high-level contextualized information while recovering images.

   图像增强任务的关键在于平衡空间细节和高层语义信息

提出方法：

感觉贡献可以分为三个方面吧，第一个是设计了一个多阶段的网络结构，结合encoder-decoder网络和single scale网络的特点；第二个是在网络的各个模块都引入了attention结构；第三个是提出了阶段间的信息交换。

1. multi stage architecture 多阶段结构

• 将图像修复任务分解成更小的子任务

​ 前两stage: Encoder-decoder学习上下文语意信息

​ 最后stage: 在图像原分辨率上操作，保留空间细节

• 三个阶段都有图像输入，并设计了一个金字塔分级

2.per-pixel adaptive design 像素级自适应设计

At each stage, we introduce a novel per-pixel adaptive design that leverages in-situ supervised attention to reweight the local features.
在每个阶段，我们都会介绍一种新颖的每像素自适应设计，该设计利用现场监督的注意力来重新加权局部特征。

（1）channel attention blocks (CABs)

CAB模块的具体结构，也是组成ORB的基本模块

（2） Unet Skip connections也引入了channel attention模块CAB

(3) Supervised attention module SAM模块

First, it provides ground- truth supervisory signals useful for the progressive image restoration at each stage. Second, with the help of locally supervised predictions, we generate attention maps to sup- press the less informative features at the current stage and only allow the useful ones to propagate to the next stage.

这个模块的主要贡献：

• 通过这个模块，每一个阶段都引入了groud-truth的监督
• 生成attention map抑制信息量少的features，使得更有用的feature流入下一个stage;

3.information exchange 跨阶段的信息交换

To this end, we propose a two- faceted approach where the information is not only ex- changed sequentially from early to late stages, but lateral connections between feature processing blocks also exist to avoid any loss of information.

为了减少信息流失，除了前后向的信息流动，不同特征处理模块之间也存在横向连接

First, it makes the network less vulnerable by the information loss due to repeated use of up- and down-sampling operations in the encoder-decoder. Second, the multi-scale features of one stage help enriching the features of the next stage. Third, the network optimization procedure becomes more stable as it eases the flow of information, thereby allowing us to add several stages in the overall architecture.

总结下来， 这种信息交换有三方面的好处：
- 减少信息流失；
- 当前层的多尺度特征可丰富下层的特征；
- 因为这种链接使得信息流动变得容易，因此网络优化过程变得稳定；

效果

图像去雨、去模糊、去噪等任务当前最佳