TIP2021 _ 视频超分辨率中的多级特征融合网络

作者 | Salted Fish

编辑 | CV君

报道 | 我爱计算机视觉（微信id：aicvml）

论文链接：

https://ieeexplore.ieee.org/document/9351768/

看点

现有的VSR方法的主要问题是参考帧的特征与相邻帧的特征的融合是一步的，融合后的特征可能与原始LR中的视觉信息有较大的偏差。本文提出了一种端到端的多阶段特征融合网络，主要贡献为：

提出了一种新的VSR特征融合方法，该方法允许在主干网的不同阶段聚集空间和时间特征。

多尺度可变形对齐模块，用于在特征级别对齐帧。

方法

overview

时间对齐网络(TAN)

调制特征融合网络

现有的SOTA方法通常首先通过级联将参考帧和对齐的相邻特征融合，然后将它们馈送到重构网络中以产生HR输出。然而，这种单阶段融合策略有两个局限性：第一，对齐的相邻帧和参考帧在特征级有大量相似的模式，因此，简单地将它们串联在一起会给重建网络带来大量的冗余，导致昂贵的计算成本。第二，融合只发生在初始层，随着深层网络层次的加深，来自相邻帧的互补时间信息将逐渐减弱。

其中γ和β是缩放比例和位移的参数。将ψ送入不同权值的卷积层，可以得到变换参数γ和β。在每个MRFB中，在所有卷积层之后注入SFT层，在多阶段融合过程中，利用对齐的时间信息一致地增强了参考帧的视觉信息。

最后，我们通过一个反馈跳过连接将从最后一个MRFB学习到的高级特征反馈给第一个MRFB的输入层。这个反馈机制利用高层信息对底层特征进行细化，细化后的特征通过调制特征融合网络，便于学习从LR到HR图像空间的复杂非线性映射，无需额外的参数。

实验

实施细节

消融实验

定量评估

不同对准模块的比较

同融合策略的比较，其中，DF将多帧的对齐特征串联起来，然后通过2d卷积进行一级融合。3DF直接利用三维卷积来提取时空特征并进行一级融合。

与SOTA的PSNR对比