【论文阅读】Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel.........

2019独角兽企业重金招聘Python工程师标准>>>

题目：采用高效的亚像素卷积神经网络实现实时单图像和视频的超分辨率          CVPR 2016  收录

摘要：

近年来，基于深度神经网络的多模型在单幅图像超分辨率重建精度和计算性能方面都取得了很大的成功。在这些方法中，低分辨率(LR)输入图像在重建前使用一个滤波器(通常是双三次插值)被放大到高分辨率(HR)空间。这意味着超分辨率(SR)操作是在HR空间中执行的。我们证明这是次优的，并增加了计算复杂度。本文提出了第一个卷积神经网络(CNN)能够实时SR的1080p视频单次K2 GPU。为了实现这一目标，我们提出了一种新颖的CNN结构，其中特征图提取在LR空间。此外，我们还引入了一种高效的亚像素卷积层，该层学习了一组上标滤波器，将最终的LR特征图提升到HR输出中。通过这样做，我们有效地取代了手工制作的双三次插值滤波器，SR通道具有更复杂的放大过滤器，专门针对每个特征图进行训练，我们使用来自公共可用数据集的图像和视频来评估所提议的方法，并表明它的性能明显更好(图像+0.15dB，图像+0.39dB)并且比之前基于深度学习方法的速度快了一个数量级。

代码地址：https://github.com/drakelevy/ESPCN-TensorFlow

代码地址：https://github.com/leftthomas/ESPCN

代码地址：https://github.com/wangxuewen99/Super-Resolution/tree/master/ESPCN

优点：卷积操作直接在LR图像上进行，达到效率提升；高效的亚像素卷积层，将LR特征图提升到HR尺寸，然后再输出；

缺点：虽然速度提升了，但是HR不同的尺寸需要进行不同的训练，还是要重新训练才能得到对应的HR尺寸；

转载于:https://my.oschina.net/u/3183716/blog/3033229