【论文阅读】CVPR2021|超分辨率重建相关论文整理与阅读（持续更新）

本文主要对CVPR2021中超分辨率重建相关论文进行整理与阅读。

CVPR2021 Super-resolution papers

---

1. ClassSR: A General Framework to Accelerate Super-Resolution Networks by Data Characteristic

Paper: https://arxiv.org/abs/2103.04039
Code: https://github.com/Xiangtaokong/ClassSR

——本文idea巨简单，根据LR图像块重建的难易程度进行分类，难的用深的模型，容易的用小模型，用来进行加速。之前其实就有类似的思想。

参考：CVPR2021|超分性能不降低，计算量降低50%，董超等人提出加速图像超分的ClassSR

---

2. Learning Sparse Masks for Efficient Image Super-Resolution

Paper: https://arxiv.org/abs/2006.09603
Code: https://github.com/LongguangWang/SMSR

——该文也是从计算资源的问题来进行思考的，平滑的区域应该赋予更少的计算资源。为了本文会生成一些sparse mask，来重新分配网络的计算资源。

---

3. Learning Continuous Image Representation with Local Implicit Image Function

Homepage: https://yinboc.github.io/liif/
Paper: https://arxiv.org/abs/2012.09161
Code: https://github.com/yinboc/liif

——人们通过视觉观察的世界是连续的，但是机器去“识别”图像是以2D矩阵的方式，离散地存储、处理图像像素。对此，本文旨在探索图像的一种连续的表达。近期，implicit function在3D重建大为流行，受此启发，本文提出Local Implicit Image Function (LIIF) 来实现对图像的连续性表达。LIIF是以图像坐标和周围的深度特征作为输入，预测该坐标位置所对应的RGB像素值。因为坐标是连续的，所以LIIF可以以任意分辨率进行表示。

这个论文采用了最近大火的implicit neural representation，后续我会专门精读，再写个博文。

---

4. Interpreting Super-Resolution Networks with Local Attribution Maps

Homepage
Colab Demo
Technical Report (arXiv)

——这是一个很有趣的论文，做超分辨网络的可解释性，旨在寻找对SR结果有重要影响的输入图像的像素，之前SR领域有人关注可解释相关的问题。具体地，本文提出了局部归因图（Local Attribution Map, LAM）来分析超分辨网络，同时基于LAM分析得到比较容易理解的现象，如具有规则条纹或网格的纹理更容易被SR网络捕捉到，而复杂的语义则难以被利用。

继续立Flag，后续精读写博文 = =！

相关ref: https://zhuanlan.zhihu.com/p/363139999

---

5. GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution

Homepaper: https://ckkelvinchan.github.io/projects/GLEAN/
Paper: https://ckkelvinchan.github.io/papers/glean.pdf

——本文主要采用GAN inversion-based方法来实现大尺度的图像超分辨。但之前GAN inversion方法，如PULSE，需要在测试阶段进行image-specific的优化，而本文提出的GLEAN方法则只需要一次前向计算。

---

6. Unsupervised Degradation Representation Learning for Blind Super-Resolution

Paper: https://arxiv.org/abs/2104.00416
Code: https://github.com/LongguangWang/DASR

——针对盲超分辨(blind super-resolution)问题，本文提出了一种非监督退化表示学习的方法来处理退化模型未知的情况。具体而言，本文利用近期在表示学习中大火的对比学习（contrastive learning），来学习不同图片的退化表示，这里假设的是在同一张图片内退化方式是相同的（退化表示相接近），但不同的图片之间是有区别的（退化表示相远离）。接着，本文提出Degradation-Aware SR（DASR）模型，将学习到的退化表示融入到超分辨模型中，以更有效地完成未知退化方式的图像重建。

---

7. Cross-MPI: Cross-scale Stereo for Image Super-Resolution using Multiplane Images

Paper: https://arxiv.org/abs/2011.14631
Homepage: http://www.liuyebin.com/crossMPI/crossMPI.html

——本文提出的方法属于 reference-based super-resolution (RefSR)。RefSR方法最开始被用来解决跨尺度重建问题，其中数据为hybrid multiscale imaging camera systems所得到的不同分辨率的。相比于常规数据驱动的SISR方法，RefSR能更好地应用放大倍数很大的情况（如x8），因为有参考图像的信息。而本文主要是利用multiplane image （MPI,多平面图像），提出plane-aware attention-based MPI mechanism，并利用参考图像进行多尺度引导。本文在实验部分都是针对放大倍数x8进行的。

（关于MPI的介绍，可参考 https://blog.csdn.net/qq_40723205/article/details/114455424）

---

8. MASA-SR: Matching Acceleration and Spatial Adaptation for Reference-Based Image Super-Resolution

Paper: https://jiaya.me/papers/masasr_cvpr21.pdf
Code: https://github.com/Jia-Research-Lab/MASA-SR

——本文提出一种名为MASA-SR的RefSR方法。MASA-SR方法主要有两个核心：1）是Match & Extraction Module(MEM), 该模块通过coarse-to-fine的方式寻找到Ref图像和LR图像之间的匹配关系；2）是Spatial Adaption Module (SAM), 该模块用来处理Ref图像到LR图像的特征变换，并适合处理两个图像之间存在color和luminance分布存在比较大的差异的时候。

---

总结

---

Reference

[1] github: Awesome-CVPR2021-CVPR2020-Low-Level-Vision