BasicVSR The Search for Essential Components in Video Super-Resolution and Beyond（视频超分论文解析）

BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond（视频超分）

提出了一个新的pipeline，BasicVSR。BasicVSR和它的扩展IconVSR可以作为之后超分算法的baseline。

上表是当前VSR方法的各种组成部分。包括传播，对齐，聚合，上采样。

这篇文章的实验建议使用双向传播方案来最大化信息收集，并使用基于光流的方法来估计两个相邻帧之间的对应关系以进行特征对齐。 通过使用简单的聚合（即特征连接）和上采样（pixel-shuffle）就能达到质量和效率都很高的效果。基于BasicVSR，这篇文章还进一步提出了IconVSR，PSNR提升了0.31。

主要方法

上图是BasicVSR的概览。a)中，BasicVSR采用双向循环网络，上采样模块包含多个pixel-shuffle和卷积。红色和蓝色分别代表后向和前向传播。b)中，传播分支只包含常用模块，S，W，R分别代表流估计，空间扭曲，残差块。

---

Local vs Global Propagation

这篇论文采用双向传播，并验证了其他方式的缺点，下图说明了local propagation相较于global propagation的缺点。帧被分成分别处理的段数越多，PSNR的值越低。从而证明了长时信息对视频超分的作用。

Unidirectional vs Bidirectional

下图虚线代表BasicVSR的PSNR，将其作为基准值，实现是将BasicVSR中的传播改为单向后的PSNR，很明显在前段绝大部分帧，单向的表现要逊色于双向，仅在最后几帧稍好。因为单向传播的第一帧只能通过自身来获取信息，而后面的帧可以通过前面很长的序列来获取信息。

Bidirectional

通过之前的证明，BasicVSR的传播公式如上，其中，$h_i^b$表示反向传播第i帧累积的信息。$h_i^f$表示前向，$x_i$表示第i帧，$F$表示传播公式。

Feature Alignment

这篇论文实验证明了不使用对齐模块会增加在融合模块的难度，导致最后的PSNR降低1.10dB。如果使用某些论文提出的Image Alignment，先计算光流，再通过图片warp对齐特征，因为光流估计的不准确性，与BasicVSR采用的Feature Alignment相比，结果差了0.17dB。

特征对齐和图片对齐的区别在特征对齐在计算光流后不是扭曲图像而是扭曲特征进行对齐。公式如下，

S和W分别表示流模块和扭曲模块，R表示残差块的栈。

Aggregation and Upsampling

Basic使用基础的融合和上采样模块，由几个卷积和pixel-shuffle模块组成。

From BasicVSR to IconVSR

验证BasicVSR良好的扩展性，这篇论文又提出了IconVSR。

Information-Refill

​ 因为图像边界和遮挡处的不准确对齐，特别是对长期传播会产生错误积累。为了减轻这种错误特征带来的不良影响，这篇论文提出了一种用于特征细化的信息补充机制。 如图所示，额外的特征提取器用于从输入帧（关键帧）的子集及其各自的相邻帧中提取深度特征。 然后通过卷积将提取的特征与对齐的特征融合。以上的模块只应用于稀疏选择的关键帧，因此带来的运算量增加很少。

论文还强调了这个方法虽然继承了关键帧的思想，但与将视频按关键帧划分处理不同，该方法的关键帧是连接在一起进行全局关键帧传播的。

Coupled Propagation

在BasicVSR的双向传播中，两个传播是独立开的。Coupled Propagation将反向的结果作为输入。

下面的公式和上面BasicVSR的对比也能看出不同。实验证明将双向信息进行关联可以得到更好的结果，而且只是增加了连接并不增加运算量。

实验对比

下表验证了Icon改变的模块的有效性，两个PSNR是在REDS4和REDSval4数据集下的。

下图是CoupledPropagation时不同关键帧数量对结果的影响。证明了耦合的有效性。

总结

这篇论文提出了很好的baseline可以为之后的工作做对比，也可以扩展到下游的视觉任务。