BasicVSR++ Improving Video Super-Resolution with Enhanced Propagation and Alignment 论文解析（视频超分）

这篇论文是基于上一篇BasicVSR优化修改的产物，BasicVSR可以看我之前的一篇博客。主要的模型结构如上图，主要的更改在于传播和对齐模块。

传播模块

网格传播

BasicVSR是简单的双向传播，IconVSR是在BasicVSR的基础上加入了Coupled Propagation，将反向传播的信息传输到正向。BasicVSR++在两个维度上扩充了这种变化，一方面，BasicVSR++将一阶马尔可夫过程扩展到二阶，获取相邻两帧的信息，（如第一层反向传播，从上两帧获取信息）。另一方面，又增加了两层传播层。

对齐模块

Flow-Guided Deformable Alignment(流引导对齐)

上图是流引导对齐的模型图，上面的图可能画错了，应该是${\overline{f}}_{i-1}$。

其中$W$表示spatial warping操作。$s_{i\to i-1}$表示i-1帧到i帧的光流。

$C^{\{o,m\}}$表示一系列卷积操作。$\sigma$表示sigmod操作。

D表示可变形卷积。

上面是相邻一帧的对齐，下面的公式扩展到了两帧。

效果对比

[外链图片转存中…(img-NnrngGtX-1647655152176)]