视频超分：对齐、融合、特征提取、重建，EDVR、BasicVSR、BasicVSR++、RealBasicVSR

​
​

活动地址：CSDN21天学习挑战赛

1.独特之处

• 可以利用多帧间的信息更好地完成超分
• 帧间是时间上的信息，像素点上体现空间上的信息
• 流程：对齐、融合、特征提取、重建

2.对齐

• 视频帧间会发生抖动，需要进行对齐才能使用起来
• 方法：
  • 光流算法处理：VESPCN、SPMC、TOFlow
  • 动态滤波和形态卷积

3.融合

• 2D、3D卷积：VESPCN、TOFlow
• 循环结构（如：Conv LSTM）：SPMC

4.EDVR

• 2019年，视频超分、去模糊等4项任务中获得第一
• 在特征空间上进行对齐和融合，而不是在图像层面对齐融合
• PCD对齐：金字塔级联变形，使用可形变卷积，更适合处理大运动的视频
• TSA融合：时空注意力机制，处理遮挡、模糊、未对齐的问题，在每帧（时间）上分配像素级别（空间）的权重

5.BasicVSR

• CVPR2021
• 结构上更加简单，效果、速度也更好

6.BasicVSR++

• 使用更大的数据集进行训练

7.RealBasicVSR

• CVPR2022
• 针对真实世界，BasocVSR在真实世界的数据集上迁移训练
• 图像清洗模块：加入了图像清洗的模块，从而减轻噪声和伪像，但是会出现过度平滑的情况，又用动态优化的方案自动停止清洗过程来避免过度平滑
• 动态优化：设定一个阈值，重复清洗一张照片，如果照片清洗前后的变化小于阈值就停止，推荐阈值：gan:5，不是gan的：1.5