CVPR2022 论文速递！超强视频修复效果！FID 和 LPIPS大幅提升

整理：AI算法与图像处理

CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo

欢迎关注公众号 AI算法与图像处理，获取更多干货：

大家好,  最近正在优化每周分享的CVPR论文, 目前考虑按照不同类别去分类,方便不同方向的小伙伴挑选自己感兴趣的论文哈

欢迎大家留言其他想法,  合适的话会采纳哈! 求个三连支持一波哈

Updated on :  20 May 2022

total number : 2

Towards Unified Keyframe Propagation Models

• 论文/Paper: http://arxiv.org/pdf/2205.09731

• 代码/Code: https://github.com/runwayml/guided-inpainting

Diversity Matters: Fully Exploiting Depth Clues for Reliable Monocular 3D Object Detection

• 论文/Paper: http://arxiv.org/pdf/2205.09373

• 代码/Code: None

Towards Unified Keyframe Propagation Models

标题：迈向统一的关键帧传播模型

对比SOTA 模型效果：

许多视频编辑任务（例如转描或对象移除）都需要跨帧传播上下文。虽然transformers和其他基于注意力的全局聚合特征的方法在将对象掩码从关键帧传播到整个视频方面取得了巨大成功，但它们很难稳定地传播诸如纹理之类的高频细节。我们假设这是由于全局注意力对低频特征的固有偏见。为了克服这个限制，我们提出了一种双流方法，其中高频特征在本地交互，低频特征在全局交互。全局交互流在困难情况下保持稳健，例如显式对齐失败的大型相机运动。局部交互流通过可变形特征聚合传播高频细节，并根据全局交互流学习检测和纠正变形场的错误。我们评估了用于修复任务的双流方法，其中实验表明，它改善了图像修复所需的单帧内特征的传播，以及它们从关键帧到目标帧的传播。应用于视频修复，我们的方法导致 FID 和 LPIPS 分数分别提高了 44% 和 26%。

更多结果展示