文献阅读:CrossNet: An End-to-end Reference-based Super Resolution Network using Cross-scale Warping

文章地址：https://arxiv.org/abs/1807.10547
视频地址：https://www.youtube.com/watch?v=7htEaaNkxG8
作者的项目地址：ECCV2018_CrossNet_RefSR

1.1 简单介绍

    目前除了SISR(Single image super resolution)进行图像超分辨重建之外,现在还出现RefSR(Reference-based super-resolution)基于参考的图像超分辨重建。SISR主要是利用了LR-HR对,但是当我们的分辨率间隙达到8或者以上,效果往往差强人意，所以RefSR,它除了LR-HR对之外，还引入了和LR图像共享相似视点的参考图像，引入参考图像的好处就是我们充分利用高分辨率图像的细节。但是RefSR目前有两个比较大的难题。第一个就是虽然引入了参考图像,但是由于视差以及LR和HR图像巨大的分辨率间隙(8x),往往效果并没有太好。另外就是如何将从参考图像高配信息迁移到LR图像也成为一个难题。
    现有的RefSR方法以级联的方式工作，例如 patch匹配，然后是具有两个独立定义的目标函数的合成 pipeline，导致inter-patch misalignment，grid effect and inefficient optimization。为了解决这些问题，我们提出了CrossNet，一种使用跨尺度变形的端到端和全卷积深度神经网络。我们的网络包含图像编码器（encoder），cross-scale warping layers和融合解码器（decoder）：编码器用于从LR和参考图像中提取多尺度特征;cross-scale warping layers在空间上将参考特征图与LR特征图对齐;解码器最终聚合来自两个域的特征映射以合成HR输出。使用跨尺度变形，我们的网络能够以端到端的方式在像素级执行空间对齐，从而改善现有方案的精度（大约2dB-4dB）和效率（超过100倍）。本段参考[计算机视觉论文速递] ECCV 2018 专场4

1.2 网络结构

1.3 效果

更多的效果可以参考这个youtube视频

1.4 感想

RefSR毕竟不是主流的SISR方向，但是以后可能会涌现更多相关的文章, 先mark一波。