图像超分辨率深度学习 （综述 ）论文笔记

题目：Deep Learning for Image Super-Resolution

期刊：Neurocomputing

年份：2019

作者：Wenming Yang, Fei Zhou, Rui Zhu, Kazuhiro Fukui, Guijin Wang, Jing-Hao Xue

摘要:图像超分辨率(SR)的目标是从低分辨率(LR)输入图像或视频序列中恢复视觉上效果更好的高分辨率(HR)图像。 图片SR已经被证明是非常重要的 ，在视频监控、超高清晰度电视、低分辨率人脸识别和遥感成像等许多应用中具有重要意义。 受益于其广阔的应用前景，SR 已经引起了巨大的兴趣，目前是图像处理和计算机视觉领域最活跃的研究课题之一。 近年来，由于深度学习的快速发展，基于深度网络的SR已经在某些应用中表现出良好的性能。 然而，对于图像SR深度学习，仍然有许多具有挑战性的开放主题， 关于新的目标函数和新的网络架构，对于大规模图像和深度图像，以及具有各种类型腐败和新应用的图像。 这期专刊共收录了十篇最先进研究的论文 在深度学习SR的理论、算法、建模、系统和应用等方面，展示了相关研究人员的最新努力。

1、Generative collaborative networks for single image super-resolution 

单图像超分辨率生成协同网络

在第一篇论文中，Seddik等人。 指出，当面对与ImageNet完全不同的图像时，使用ImageNet的预训练架构导致的最近VGG损失不能很好地工作。为了解决这个问题，作者提出了一个称为生成协作网络（GCN）的通用框架，其中的思想是在特征提取器网络的特征空间中优化生成器。包含的生成器和提取器在某种意义上是协作的，后者可以通过构造区分性和相关特征来帮助前者。

 

2、Benefifiting from multitask learning to improve single image super  resolution

 

从多任务学习中获益以提高单个图像的超分辨率

Rad等人的第二篇论文介绍了一种解决单图像超分辨率（SISR）问题的新颖方法，该方法利用分类信息获得具有更逼真的纹理的SR。 通过利用带有额外语义信息的编码器体系结构，该算法可以通过同时使用多任务学习进行图像SR和语义分割，从而对给定图像进行超分辨。

 

3、Deep learning-based image super-resolution considering quanti tative and perceptual quality

 

考虑定量和感知质量的基于深度学习的图像超分辨率

 

第三篇论文研究了超分辨图像在定量和感知质量之间的权衡，这分别对应于真实图像和自然图像的相似性。 为了在保留常规定量性能的同时提高放大图像的感知质量，作者在识别器网络和两个定量得分预测器网络的帮助下，采用了深度网络进行多遍放大。 通过使用美学得分预测器和主观得分预测器，模型可以生成在感知上得到改善的图像。 鉴别器增强了模型，使其专注于精细细节，而多次遍历放大则有助于模型学习各种放大模式。

 

 

4、Ultra-dense GAN for satellite imagery super-resolution

 

 用于卫星图像的超密GAN超分辨率

 

 第四篇论文提出了一种用于图像SR的超密GAN(udGAN)，将残差块的内部布局改为二维矩阵拓扑。 这种拓扑结构可以提供附加 对角线连接，以便他们仍然可以完成足够的路径与较少的层。 可实现的丰富连接灵活地适应图像内容的多样性，从而导致IM。 证明了SR的性能。

 

 

5、Deep residual network for highly accelerated fMRI reconstruction using variable density spiral trajectory

 

利用变密度螺旋轨迹进行高加速fMRI重建的深残留网络

 

 在第五篇论文中，作者使用深度残差网络通过可变密度螺旋轨迹重建具有20倍加速度的fMRI数据.. 图像中的均方误差(MSE)损失 使用k空间域中的域和数据一致性来评估网络输出与地面真相之间的“距离”。 此外，充分采取时间框架共享战略 在重建方案中采用了相邻帧的k-数据信息的优点，这有利于学习过程，并提供了更好的性能。

 

 

6、Deep learning-based super-resolution of 3D magnetic resonance images by regularly spaced shifting

 

 基于深度学习的基于规则间隔移位的三维磁共振图像超分辨率

 

在第六篇论文中，结合CNN和规则间隔的移位机制，提出了一种磁共振图像超分辨率的方法。 低分辨率图像通过SR CNN处理。 通过对输入图像应用常规的移位模型，然后将高分辨率的还原移位重新合成为共识，可以提高还原图像的质量。

 

7、Mixed-dense connection networks for image and video super  resolution 

 

用于图像和视频超分辨率的混合密集连接网络

 

Purohit等人的第七篇论文提出了一种从MixNet派生而来混合密度连接网络（MDCN），以最大程度地提高超分辨率网络的效率，并从残余和密集连接中受益。

 

 

8、Deep recursive up-down sampling networks for single image super  resolution

 

 单图像超分辨率的深层递归上下采样网络

 

在第八篇论文中，Li等人。 提出了SISR的深层递归上下采样网络(DRUDN)..在DRUDN中，不需要额外的插值，直接输入原始LR图像。 然后，作者使用 复杂的递归上下采样块(RUDB)来学习LR图像和HR图像之间的复杂映射。 在重建阶段，特征图由一个反褶积层被放大到理想的尺寸。

 

 

9、Deep fractal residual network for fast and accurate single image super resolution

 

 快速、精确的单图像超分辨率深度分形残差网络

 

 第九篇文章介绍了一种利用深度分形残差网络(DFRN)实现SISR的新的快速方法。 分形块被用来学习和结合不同的层次特征， 因此，所提出的DFRN可以产生更精细的特征来重建HR图像。

 

 

10、SCRSR: An effiffifficient recursive convolutional neural network for 10 fast and accurate image super-resolution

SCRSR：一种高效的递归卷积神经网络，用于快速、准确的图像超分辨率

 

在最近的论文中，Lin等人。 提出了一种递归有效的深度卷积网络，用于快速准确的单图像SR。 提出了拆分级联残差（SCR）块，以减少计算量和参数。 利用下采样块和上采样块，作者显着降低了计算复杂度并扩大了接收场的大小。 具体而言，提出了一种两级递归学习方法，以通过增加深度而不增加权重参数来提高准确性。