图像去模糊数据源

环境配置:
https://www.jianshu.com/p/a25e6bab65ad

本文结构分为论文下载地址、摘要内容、代码下载地址以及对应的数据集的网盘资源。这些论文是我在研究视频去模糊、超分辨、增强方向觉得不错的论文,其中部分论文的模型自己也复现过,如果有模型复现方面的问题,我们都可以交流哦~。因为官方代码的数据集一般都存于谷歌云盘中,所以这里为了方便大家下载数据集,我以百度网盘的形式给出,如果觉得这篇文章对你有一点点帮助的话就好啦!

超分辨

论文地址:A New Dataset and Transformer for Stereoscopic Video Super-Resolution
(立体视频超分辨率的新数据集和Transformer)
摘要内容: 立体视频超分辨率(SVSR)旨在通过重建高分辨率视频来提高低分辨率视频的空间分辨率。 SVSR 的主要挑战是保持立体一致性和时间一致性,否则观众可能会感到 3D 疲劳。立体图像超分辨率有几项著名的工作,但对立体视频超分辨率的研究很少。在本文中,我们提出了一种新颖的基于 Transformer 的 SVSR 模型,即 Trans-SVSR。 Trans-SVSR 包含两个关键的新颖组件:时空卷积自注意力层和基于光流的前馈层,该层发现不同视频帧之间的相关性并对齐特征。使用交叉视图信息来考虑显着差异的视差注意机制(PAM)用于融合立体视图。由于缺乏适合 SVSR 任务的基准数据集,我们收集了一个新的立体视频数据集 SVSR-Set,其中包含使用专业立体相机拍摄的 71 个全高清 (HD) 立体视频。对收集的数据集以及其他两个数据集进行的大量实验表明,与最先进的方法相比,Trans-SVSR 可以实现具有竞争力的性能。
代码地址:Trans-SVSR
数据集名称: SVSR_dataset 数据集
数据集百度网盘:提取码 vvy1

去模糊

论文地址:DeMFI: Deep Joint Deblurring and Multi-Frame Interpolation with Flow-Guided Attentive Correlation and Recursive Boosting
(DeMFI:深度联合去模糊和多帧插值与流引导的注意力相关和递归提升)
摘要内容: 在本文中,我们提出了一种新颖的联合去模糊和多帧插值 (DeMFI) 框架,称为 DeMFI-Net,它基于流引导将较低帧率的模糊视频准确地转换为较高帧率的清晰视频。在多帧插值 (MFI) 方面,基于注意力相关的特征支持 (FAC-FB) 模块和递归提升 (RB)。 DeMFI-Net 联合执行去模糊和 MFI,其中其基线版本使用 FAC-FB 模块执行基于特征流的变形,以获得锐插值帧以及去模糊两个中心输入帧。此外,它的扩展版本进一步提高了基于像素流的扭曲与基于 GRU 的 RB 的联合任务性能。我们的 FAC-FB 模块有效地收集特征域中模糊输入帧上的分布式模糊像素信息,以提高整体联合性能,这在计算上是高效的,因为它的注意力相关性只是逐点聚焦。因此,与最近的 SOTA 方法相比,我们的 DeMFI-Net 在去模糊和 MFI 方面实现了各种数据集的最先进 (SOTA) 性能,并具有显着的优势。
代码地址: DeMFI
数据集名称: Adobe 数据集、GoPro 数据集
数据集百度网盘:
Adobe1 提取码 toz3
Adobe2 提取码 71c9
GoPro 提取码 aref

去模糊

论文地址:PVDNet: Recurrent Video Deblurring with Blur-Invariant Motion Estimation and Pixel Volumes
(具有模糊不变运动估计和像素体积的循环视频去模糊)
摘要内容: 为了成功进行视频去模糊,必须利用来自相邻帧的信息。大多数最先进的视频去模糊方法采用视频帧之间的运动补偿来聚合来自多个帧的信息,这有助于对目标帧进行去模糊。然而,以往的去模糊方法所采用的运动补偿方法都不是模糊不变的,因此对于具有不同模糊量的模糊帧,它们的准确性是有限的。为了缓解这个问题,我们提出了两种新颖的方法,通过有效地聚合来自多个视频帧的信息来对视频进行去模糊。首先,我们提出了模糊不变运动估计学习,以提高模糊帧之间的运动估计精度。其次,对于运动补偿,我们不是通过对估计运动进行扭曲来对齐帧,而是使用包含候选锐像素的像素体积来解决运动估计错误。我们将这两个过程结合起来,提出了一个有效的循环视频去模糊网络,该网络充分利用去模糊的先前帧。实验表明,与最近使用深度学习的方法相比,我们的方法在数量和质量上都达到了最先进的性能。
代码地址:PVDNet
数据集名称: DVD 数据集
数据集百度网盘:提取码:go8b

视频增强

论文地址:Spatio-Temporal Deformable Convolution for Compressed Video Quality Enhancement
(用于压缩视频质量增强的时空可变形卷积)
摘要内容: 近年来,深度学习方法在压缩视频质量增强方面取得了显著成功。为了更好地探索时间信息,现有方法通常估计光流以进行时间运动补偿。然而,由于压缩后的视频可能会受到各种压缩伪影的严重失真,因此估计的光流往往不准确且不可靠,从而导致质量增强效果不佳。此外,连续帧的光流估计通常以成对的方式进行,计算量大且效率低。在本文中,我们提出了一种快速而有效的压缩视频质量增强方法,通过结合一种新颖的时空可变形融合 (STDF) 方案来聚合时间信息。具体来说,所提出的 STDF 将目标帧及其相邻参考帧作为输入,共同预测偏移场,以变形卷积的时空采样位置。因此,来自目标帧和参考帧的互补信息可以在单个时空可变形卷积 (STDC) 操作中融合。大量实验表明,我们的方法在准确性和效率方面都达到了压缩视频质量增强的最先进性能。
代码地址:STDF
数据集名称: MFQEv2_dataset 数据集
数据集百度网盘: 提取码:vpci

数据集补充

以上数据集是对应论文中的数据集,相应的还有很多常用的公共数据集在这里稍作补充:
REDS数据集:提取码:hsqm
VID数据集:提取码:lw0n
GoPro数据集:提取码:l454

最后稍作总结,因为每次跑模型就要下载数据集,下载了很多数据集,在此做一个分享,希望以上能帮到大家~,也稍微总结一下自己研究方向的收获,以上模型我有复现过,如果有环境配置等问题,我们也可以交流哦 ~ 这里提一下关于opencv、pytorch的安装可以看我上一篇文章,是我配置了很多环境后发现的一个非常受用的方法,也真心希望能帮到你,在此感谢你能看到这篇文章,我们一起加油哦!

文章知识点与官方知识档案匹配,可进一步学习相关知识
Python入门技能树人工智能深度学习 165495 人正在系统学习中

你可能感兴趣的:(transformer,深度学习,人工智能)