简洁的架构还能高效和准确？清华&华为提出新型残差循环超分模型：RRN！

分享一篇视频超分辨率的论文 Revisiting Temporal Modeling for Video Super-resolution，其为BMVC 2020 论文，该文的结果目前在视频超分的几个数据集上都是排名第一，代码已开源。

作者单位：清华大学、纽约大学、华为诺亚方舟实验室

1

看点

本文提出了一种简洁而又高效的超分架构，在测试集上一帧只需45ms PSNR就可以达到27.69，具有很大的实用价值，亮点如下：

• 以往已经提出了许多基于深度学习的视频超分辨率（video super-resolution，VSR）方法，但是由于使用不同的损失函数或训练集，因此很难直接比较这些方法。本文统一的研究和比较了三种时域建模方法：早期融合的2D CNN、慢融合的3D CNN和RNN。

• 提出了一种新的残差循环网络（RRN），利用残差稳定RNN的训练，同时提高超分辨率性能，在三个基准测试集上均达到了SOTA。

2

时域融合模型

2D CNN：采用了几个改进的2D残差块，每个块由3×3卷积层和ReLU组成。模型以2T+1个连续帧为输入，首先先在通道维度串联，然后通过一批残差块，输出shape大小为H×W×Cr^2^的残差特征图，通过depth-to-space上采样四倍得到残差图像R~t~^↑^，和双三次上采样的中心帧相加，得到HR图像。

3D CNN：与2D CNN不同的是，在3D CNN中，使用3×3×3的卷积层来提取时空信息。此外，为了防止帧数减少，我们在时间轴上增加两个像素值为零的帧。

RNN：时间步骤t处的输入有三部分：（1）先前的输出o~t−1~，（2）先前隐藏状态h~t−1~（3）两个相邻帧 和 。RNN可以利用上一层的互补信息，进一步细化第t时间步的高频纹理细节。

然而，RNN中存在梯度消失的问题。为了解决这一问题，本文提出了一种新的循环网络（RRN），它的内部采用残差块（一个卷积层、一个ReLU层和另一个卷积层组成）。

这种设计保证了信息流的流畅性，并具有长时间保留文本信息的能力，使得RNN更容易处理较长的序列，同时减少了梯度消失的风险。

其中σ（·）为ReLU函数。 ， 为要学习的残差图。

3

实验

实施细节RRN在时间 时，先前的估计被初始化为零。三个模型均使用L1损失函数。使用Vimeo-90k作为训练集，对数据集进行BD降质以及crop为64×64的预处理。

量化评估与消融实验作者考虑了两个网络深度不同的模型进行建模。S代表5个堆叠的模块，L则代表10个。下图可以看出不管是在运行时间、运算复杂度还是PSNR值上，RRN相比其他时域建模方法都具有显著的优势。

对是否为残差块和残差块的个数的消融实验，可以看出残差块能有效的抑制梯度消失。

与其他模型的对比，可以发现RRN都达到了STOA。

论文：https://arxiv.org/pdf/2008.05765.pdf

代码：https://github.com/junpan19/RRN

END

备注：超分辨率

超分辨率交流群

图像视频超分辨率，可见光、红外、遥感超分辨率等技术，

若已为CV君其他账号好友请直接私信。

我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:[email protected]

网站:www.52cv.net

在看，让更多人看到