视频超分辨论文理解：Frame-Recurrent Video Super-Resolution

该文是2019年CVPR上的视频超分辨论文。
该文章主要是针对以前视频超分辨的缺点：将视频超分辨问题看作是大量的单独的多帧超分辨任务。每个多帧超分辨任务负责根据输入的多帧LR图像生成一个HR图像，这样产生的各个HR图像之间由于缺乏联系，在时间连续性上比较差，出现伪影。同时这样做的计算复杂度比较高。
于是，作者提出在生成下一帧图像时，考虑之前生成的HR图像，将其也输入网络，这样不仅能产生时间连续的结果，也降低了计算复杂度。

网络结构如下：

具体的实现过程如下：
首先光流估计网络FNet，根据输入的当前LR和前一帧LR，估计它们两个之间的光流，得到LR光流图，接着通过双线性插值按照指定的比例上采样到相应的分辨率上，得到HR光流图，然后将所得到的HR光流图和前一帧的HR（生成的）进行Wrap操作，再将其输出进行space-to-depth操作（可以类比亚像素卷积的逆操作），从高分辨率空间变换到低分辨率空间中，最后将输出送入SRNet中进行最终的超分辨操作，输出当前LR图像的超分辨图像。

FNet和SRNet的内部结构如下：

这是放大四倍的结构图。上面是SRNet，下面是FNet。

网络使用的损失函数包含两项，如上图右边所示：
一项是网络预测出的HR图像与ground truth图像像素之间的差异：

另一项是：

总的损失是这两项之和：