Learning Enriched Features for Fast Image Restoration and Enhancement 论文阅读笔记

• 这是2022年TPAMI上发表的大名鼎鼎的MIRNetv2，是一个通用的图像修复和图像质量增强模型，核心是一个多尺度的网络
  

• 网络结构整体是残差的递归，不断把残差展开可以看到是一些残差块的堆叠。核心是多尺度的MRB。网络用的损失函数朴实无华：
  

• MRB的核心是RCB和SKFF两个模块，先介绍SKFF，它是用来融合多尺度特征图的，如下所示。这里的特征图是已经上采样到相同尺度了，相加做一个global average pooling和全连接层后，分成两个向量，各自再全连接层一次，然后softmax归一化使得两个向量的加和处处为1，然后进行通道加权后相加。
  

• RCB模块如下图所示，具体做什么都能看懂，其实就是卷积加提取了一个C维的通道偏置
  

• 训练的时候使用了progressive training，先用小patch训练，慢慢增大patch size

• 实验结果（我只关注暗图增强）可以看到PSNR还是蛮高的，视觉效果也不错：
  
  

• 启发是，一个高性能的网络，用简单的距离损失函数进行有监督训练，能够产生很好的增强结果