基于高分辨光流估计的视频超分辨率学习

论文地址：https://arxiv.org/abs/1809.08573
代码地址：https://github.com/LongguangWang/SOF-VSR
：

视频超分辨率（SR）的目标是生成一系列高分辨率（HR）帧，其低分辨率（LR）对应的帧具有合理和时间一致的细节。精确对应的产生在视频SR中起着重要的作用，传统的视频SR方法证明了图像和光流的同步SR可以提供精确的对应和更好的SR结果。然而，在现有的基于深度学习的通信生成方法中使用了LR光流。在本文中，我们提出了一个端到端可训练的视频SR框架来超级解析图像和光流。具体地说，我们首先提出了一个光流重建网络（OFRNET），以粗到细的方式推断HR光流。然后，根据HR光流进行运动补偿。最后，补偿的LR输入被送入超分辨率网络（SRNET）以产生SR结果。大量实验表明，HR光流比LR光流提供更精确的对应关系，提高了精度和一致性性能。对VID4和Davis-10数据集的比较结果表明，我们的框架达到了最先进的性能。視頻超解析度 旨在生成一系列高解析度 幀, 這些幀具有來自低解析度 對應方的合理且一致的詳細資訊。準確對應的生成在視頻 中起著重要的作用。傳統的視頻 sr 方法表明, 圖像和光流的同步 可以提供準確的對應和更好的 sr 結果。然而, lr 光流被用於現有的基於深度學習的通信生成方法中。在本文中, 我們提出了一個端到端可訓練的視頻 sr 框架, 以超解析圖像和光流。具體而言, 我們首先提出了一個光流重建網路 (t), 以粗化的方式推斷 hr 光流。然後, 根據 光流進行運動補償。最後, 將補償 lr 輸入輸入輸入到超解析度網路 (SRNet) 以生成 結果。大量實驗表明, hr 光流比 lr 提供更精確的對應, 並提高了精度和一致性性能。vid4 和 davs-10 資料集的比較結果表明, 我們的框架實現了最先進的性能。