[Paper Note] Meta-SR A Magnification-Arbitrary Network for Super-Resolution

Summary

这篇文章的创新点在于提出了Meta-Upscale Module这个模块，实现了任意尺寸的放大（当然这篇论文做的主要是x1-x4的倍数），核心思想是HR和LR图片之间实际上是一个缩放关系，有一个缩放因子r。LR的像素通过一组滤波器权重可以映射到SR上，所以找到SR图片和LR图片的像素映射，训练出滤波器权重。
$${\mathbf{I}}^{SR}(i,j)=\Phi \left({\mathbf{F}}^{LR}\left(i^{\prime },j^{\prime }\right),\mathbf{w}(i,j)\right)\text{\hspace{1em}(1)}$$
因为r的大小可以认为任意选择，也就实现了任意尺度的缩放。

Architecture

网络实际上分位两部分：特征提取+放大。
特征提取如图，堆叠三个RDB模块。
第二部分则是重点，这个模块可以看作是LR图像到HR图像的映射模块。

Meta-Upscale 模块有三个重要的函数，即 Location Projection、Weight Prediction、Feature Mapping。

• Location Projection 把像素投射到 LR 图像上，即找到与像素（i, j）对应的像素（i′, j′)。作者认为像素（i, j）的值是由像素（i′, j′）的特征所决定.
  $$\left(i^{\prime },j^{\prime }\right)=T(i,j)=\left(\lfloor \frac{i}{r}\rfloor ,\lfloor \frac{j}{r}\rfloor \right)\text{\hspace{1em}(2)}$$
• WeightPrediction 模块为 SR 图像上每个像素预测 对应滤波器的权重
  $$\mathbf{W}(i,j)=\phi \left({\mathbf{v}}_{ij};\theta \right)\text{\hspace{1em}(3)}$$
  其中 $v_{ij}$ 是与$i,j$相关联的向量，也是权重预测网络的输
  $${\mathbf{v}}_{ij}=\left(\frac{i}{r}-\lfloor \frac{i}{r}\rfloor ,\frac{j}{r}-\lfloor \frac{j}{r}\rfloor \right)\text{\hspace{1em}(4)}$$
  $${\mathbf{v}}_{ij}=\left(\frac{i}{r}-\lfloor \frac{i}{r}\rfloor ,\frac{j}{r}-\lfloor \frac{j}{r}\rfloor ,\frac{1}{r}\right)\text{\hspace{1em}(5)}$$
• Feature Mapping 函数利用预测得到的权重将 LR 图像的特征映射回 SR 图像空间以计算其像素值。
  $$\Phi \left({\mathbf{F}}^{LR}\left(i^{\prime },j^{\prime }\right),\mathbf{W}(i,j)\right)={\mathbf{F}}^{LR}\left(i^{\prime },j^{\prime }\right)\mathbf{W}(i,j)\text{\hspace{1em}(6)}$$