Inpaint Anything: 自动化抹除视频元素

自动化抹除视频元素

不用逐帧抠图,直接SAM + Tracking + Video Inpainting就能实现自动化抹除奔跑吧idol。

https://github.com/geekyutao/Inpaint-Anything

目录

  • 网站
  • 演示
  • 参考文献

网站

https://huggingface.co/spaces/InpaintAI/Inpaint-Anything

演示

Inpaint Anything: 自动化抹除视频元素_第1张图片

Inpaint Anything: 自动化抹除视频元素_第2张图片

Inpaint Anything: 自动化抹除视频元素_第3张图片

原理就是,只要在视频的第一帧点击下要抹除的目标,tracking模型随即开始跟踪目标并输出对应的bounding box;这个bounding box可以作为SAM的prompt实现分割,即得到每一帧的目标mask;有了mask之后,video inpainting模型就可以进行填补了,目标物体随之从视频中抹去。

理论上上述方法非常可行有效,但做实验下来,发现实际瓶颈在于目前的video inpainting模型的效果不是非常好,导致最后目标移除的效果有限。

参考文献

https://arxiv.org/pdf/2304.06790.pdf

https://www.zhihu.com/question/612195663/answer/3120899437

Inpaint Anything: 自动化抹除视频元素_第4张图片

Inpaint Anything: 自动化抹除视频元素_第5张图片

你可能感兴趣的:(segmentation,/,vision,vision,video,tracking)