超分辨率——综述文章

参考地址：https://www.jiqizhixin.com/articles/2019-03-15-7

超分辨率研究的意义

超分辨率研究的问题是 将低分辨率的图像重建为高分辨率的图像。这种操作主要有这么几种应用场景：

1. 图像压缩方面，在传输过程中可以只传输低分辨率的图片，然后通过重建操作得到高分辨率图像。低分辨率图像相比高分辨率图像来说，减少网络负载。
2. 医学图像方面，可以通过设备得到低分辨率图像，通过重建，能更加清晰看到组织、细胞的状态。
3. 公安安防方面。这方面主要是由于受天气的影响，存在**图像模糊、**分辨率低问题。通过超分辨率重建，可以恢复清晰的车牌号码、人脸。
4. 遥感方面、获取高分辨率图像一直来是这方面的难点、所以希望引入高分辨重建提高图像的分辨率。
5. 视频方面

超分辨率重建技术概述

1. 退化模型

这个模型的意思描述了，客观的自然环境下高分辨率如何退化为我们眼中的低分辨率的图片。这个过程包括三个主要的因素：运动变化、成像模糊、降采样。可以通过以下公式来描述这个过程：

$$L=DBFH+N$$
其中L表示低分辨图，H表示高分辨率图，F：运动矩阵、B：模糊作用矩阵、D：降采样矩阵、N：加性噪声。所以图像的超分辨重建是这个过程的逆过程，这给这方面的研究提供了坚实的理论基础。

2. 评价准则

参考资料：https://www.zhihu.com/search?type=content&q=峰值信噪比
图像的评价准则主要是两种：

• 峰值信噪比（Peak signal-to-noise ratio, PSNR）
  
  其中，W，H表示图像的长和宽，$x$表示原图，$\hat{x}$表示重建后的图像，值越大代表失真越少。

• 结构相似性（Structural Similarity, SSIM）
  SSIM从亮度、对比度和结构三方面来评估两幅图像的相似性。
  
  
  从上面可以看出，值越大失真越少。

3.图像超分辨率三种方法

根据分类准则的不同，可以将图像超分辨率重建技术划分为不同的类别。从输入的低分辨率图像数量角度来看，可以分为单帧图像的超分辨率重建和多帧图像（视频）的超分辨率重建；从变换空间角度来看，可以分为频域超分辨率重建、时域超分辨率重建、色阶超分辨率重建等；从重建算法角度来看，可以分为基于插值的重建、基于重构的重建和基于学习的超分辨率重建。

• 基于插值的超分辨重建
  这一类，包括Opencv中的最近邻插值法、双线性插值法和双立方插值法。
• 基于重构的超分辨率重建
  这种方法类似于 分类算法中的传统方法。估算变换矩阵，常用方法：迭代反投影法、凸集投影法、最大后验概率法
• 基于学习的超分辨率重建
  这种包括流行学习、稀疏编码、深度学习方法。

4.深度学习法

深度学习法的三篇开篇之作：

• SRCNN(Super-Resolution Convolutional Neural Network)
• ESPCN (Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network)
• RGAN (Photo-Realistic Single Image SuperResolution Using a Generative Adversarial Network)
  这个暑假，这个方向的论文需要详细了解以下。