【AIGC核心技术剖析】改进视频修复的传播和变压器(动态滤除环境中的物体)

【AIGC核心技术剖析】改进视频修复的传播和变压器(动态滤除环境中的物体)_第1张图片
【AIGC核心技术剖析】改进视频修复的传播和变压器(动态滤除环境中的物体)_第2张图片

基于流的传播和时空变压器是视频修复(VI)中的两种主流机制。尽管这些组件有效,但它们仍然受到一些影响其性能的限制。以前基于传播的方法在图像域或特征域中单独执行。与学习隔离的全局图像传播可能会由于光流不准确而导致空间错位。此外,内存或计算约束限制了特征传播和视频变压器的时间范围,阻止了对远帧对应信息的探索。为了解决这些问题,我们提出了一个改进的框架,称为ProPagation,它涉及增强的ProPagation和高效的Transformer。具体来说,我们引入了双域传播,它结合了图像和特征扭曲的优点,可靠地利用了全局对应关系。我们还提出了一种掩码引导的稀疏视频转换器,它通过丢弃不必要和冗余的令牌来实现高效率。有了这些组件,ProPainter在PSNR中以1.46 dB的较大优势优于现有技术,同时保持了吸引人的效率。

page: https://shangchenzhou.com/projects/ProPainter/

paper: https://arxiv.org/abs/2309.03897

code: https://github.com/sczhou/ProPainter

colab: please try it https://github.com/camenduru/ProPainter-colab

项目介绍:https://shangchenzhou.com/projects/ProPainter/

你可能感兴趣的:(AIGC核心技术剖析,AIGC)