Deep Video Super-Resolution using HR Optical Flow Estimation | 视频超分重建 | 测试简记 |

视觉新人，纯小白笔记
订阅号：墨理三生
声明：本博文只做代码测试教程，感谢支持；

---

项目基本信息：

---

Deep Video Super-Resolution using HR Optical Flow Estimation

https://arxiv.org/abs/2001.02129

GitHub项目链接：

https://github.com/LongguangWang/SOF-VSR/tree/master/TIP

这个项目 200M ，如果有同学下载困难，可以去我的的 码云 库进行下载

https://gitee.com/xiaohuoer1995/SOF-VSR

---

摘要：

视频超分辨率(SR)旨在从低分辨率(LR)的对应对象中生成一系列高分辨率(HR)帧，这些帧的细节貌似合理且时间上一致。
视频SR的关键挑战在于有效利用连续帧之间的时间依赖性。
现有的基于深度学习的方法通常估计LR帧之间的光流，以提供时间依赖性。
但是，LR光流和HR输出之间的分辨率冲突阻碍了细节的恢复。
在本文中，我们提出了一个端到端视频SR网络来超分辨光流和图像。
来自LR帧的光流SR提供精确的时间依赖性，并最终改善视频SR性能。
具体来说，我们首先提出了光流重构网络(OFRnet)，以粗到细的方式推断HR光流。
然后，利用HR光流编码时间依赖性进行运动补偿。
最后，将补偿后的LR输入输入到超分辨率网络(SRnet)，生成SR结果。
大量的实验已经证明了HR光流对SR性能改善的有效性。
在Vid4和DAVIS-10数据集上的比较结果表明，我们的网络达到了最先进的性能。

总结：

在本文中，我们提出了一个端到端深度网络的视频SR.我们的SOF-VSR首先超分辨率光流提供准确的时间依赖性。
然后根据HR光流进行运动补偿。
最后，利用SRnet从补偿后的LR帧中推断出SR结果。
大量的实验结果表明，我们的SOF-VSR网络可以恢复准确的时间细节，提高了SR的准确性和一致性。
与现有视频SR方法的比较也证明了我们的SOF-VSR网络的最先进的性能。

---

---

---

视频超分重建，数据集下载：

---

测试数据集，数据和模型 下载的项目中都是包含的；下面链接可以下载更多相关数据；

数据下载链接备份：

https://davischallenge.org/davis2017/code.html

---

测试步骤如下：

---

---

排错过程如下：

---

运行重建命令：

python demo_Vid4.py --degradation BI --scale 4 --gpu_mode True

可能遇到的小错误，统计如下：

报错一：

FileNotFoundError: [Errno 2] No such file or directory: 'data/test/Vid4/walk/lr_x4_BI'

原因：因为没有执行 Run data/test/generate_LR_images.m 因此，缺少 LR 数据

报错二：

FileNotFoundError: [Errno 2] No such file or directory: 'results/Vid4'

原因：代码默认，需要手动新建目录 TIP/results/Vid4

---

生成结果目录如下：

---

---

评测：

---

生成的重建图像，画质似乎很扎心啊；
是不是作者没有把最佳模型放出来呢？

---