CS-NL(CVPR2020) Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining

CS-NL:Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining.
论文地址：https://arxiv.org/pdf/2006.01424.pdf

Abstract

SISR是利用大量外部数据训练模型来恢复图像的局部特征，但是他们忽视了自然图像的远距离特征的相似性质。（大量数据就是成对的，自然图像就是输入的要恢复的LR，远距离相似性，指的是）
最近的一些研究通过探索非局部注意模块，成功地利用了这种内在特征的相关性。但是忽视了跨尺度特征相关性（cross-scale feature correlation）。所以文章提出跨尺度非局部注意模块（CS-NL），把跨尺度非局部先验（piror）和尺度内非局部先验在一个强大的常用的融合模块中结合，我们可以在一张低分辨率(LR)图像中发现更多的跨尺度特征相关性。通过对所有可能先验的穷举积分，有效地提高了SISR的性能。

Introduction

在早期SISR中，使用局部先验知识（例如bicubic）和非局部先验知识进行块匹配与重建。为了超越局部限制，基于非局部均值滤波的方法开始在整个LR图像上全局搜索相似的patch。
自相似性（即小尺度特征倾向于在图片中的多个位置重复出现，又叫非局部先验知识non-local prior）的非局部搜索可以进一步扩展到跨尺度线索。在自然图像中广泛存在着跨尺度块的相似性。直观上，除了像素到像素的非局部匹配，像素也可以匹配较大的图像块。自然的跨尺度特征相应地让我们直接从LR图像中搜索高频细节，从而得到更真实、准确和高质量的重建。
深度学习SISR那个学习的模型就是先验知识，与传统相比，解决方案的本质并没有改变，而是局部地寻找外部相似的patch。
从非局部注意模块的想法中，我们提出了一个跨尺度非局部(CS-NL)注意模块，学习在同一特征图中去挖掘LR特征与更大尺度HR patch之间的长距离依赖关系，如图1所示。这种attention可以针对低分辨率特征，跨尺度的捕捉对应的高分辨率区域，并通过整合这些区域恢复高频细节。与此同时，为了更好的利用所有先验信息，我们又提出了Self-Exemplars Mining (SEM) 模块，将三种先验知识分别发掘，再通过mutual-projection融合进来。

三点贡献：

1. 我们明确地表达了图像内部像素到patch和patch到patch的相似性，并另外证明了跨尺度自相似性挖掘极大地提高了SISR的性能。
2. 用SEM反复融合信息，融合三种先验尽可能挖掘内在先验，并利用网络学习到的丰富的外部统计信息。

Related Works相关工作：

Self-Similarity in Image SR（图像的自相似性）

小的块倾向于在一幅图像内和它的跨尺度图像内重复。为此出了一系列算法，该算法利用给定图像的跨尺度信息冗余作为重建的唯一来源，而不依赖任何外部实例。（就是机器学习中自身数据自学习）

Non-Local Attention in Deep Networks（深度网络中的非局部注意机制）

近年来，非局部注意机制，用于解决计算机视觉问题。一般来说，深度CNNs中的非局部关注可以让网络更专注于信息领域。最初提出非局部神经网络来寻找高级任务的语义关系，如图像分类和目标检测。而图像恢复的非局部注意力机制则是基于非局部相似性先验。
然而，现有的非局部图像恢复方法只探索相同尺度下的特征相似性，而忽略了大量跨尺度的内部LR-HR样本，导致性能相对较差。我们知道，HR内部对应包含更多相关的高频信息，预测能力更强。

Cross-Scale Non-Local (CS-NL) Attention（跨尺度非局部注意力机制）

In-Scale Non-Local (IS-NL) Attention（尺度内非局部注意力机制）

非局部注意（non-local attention）可以通过从整体图像中总结相关特征来探究自我样本
（直白点：对于给定的特征，传统non-local attention方法将全局搜索与其相似的特征）对于给定特征映射X，它的non-local attention公式表示如下，由于所有的特征来自同一个feature map，所以只能捕捉同一尺度的特征相关性。

Cross-Scale Non-Local (CS-NL) Attention（跨尺度非局部注意力机制）

与尺度内非局部模块测量像素间的相互相关性（点对点）不同，本文提出的跨尺度注意力用于测量LR图像中低分辨率像素和较大尺度块之间的相关性（特征对高尺度区域）
用常用的相似度度量方法将像素与patch直接匹配是不可行的。因此，我们简单地向下采样特征（由于空间维数的差异），将patch表示为像素，并测量相似性。Cross-scale attention表示为：

Patch-Based Cross-Scale Non-Local Attention（基于块的跨尺度非局部注意力机制）

以特征为基础的相似度测量可能存在问题

CS-NL Attention Module

X中的PP个块，匹配Y中的PP个，，总之这句话憋了半天，还是去看看代码吧，后面的就就

参考文章：https://www.sohu.com/a/398328836_379802
他不是简单翻译，而是总结性，角度站的比较高