CVPR 2020 论文 | 宅家拍视频，背景可换新马泰

By 超神经

内容提要：抠图对于工业界、CV 领域来说，一直都是非常有价值的研究课题。近年来，诞生了众多抠图算法。本文介绍的最新算法，可自动创建蒙版，即使没有专业的绿幕，也能完美转换视频背景。

关键词：抠图 绿幕 蒙版

注：本文经授权转载自公众号图灵 TOPIA（ID：turingtopia）

作者：安然

编辑：刘静

在影视剧中，拍摄者经常会使用绿幕把演员或物体从普通场景画面中分离出来，合成到剧情需要的炫酷奇幻的场景中去。

好莱坞大片、迪士尼动画巨作等制作过程中，都离不开抠图算法。 

大片拍摄过程中少不了绿幕

但是，在日常生活中，没有绿幕的普通群众，可以随意转换自己的视频场景吗？

近日，来自华盛顿大学的研究者 Soumyadip Sengupta 等人发表了一篇论文：《Background Matting: The World is Your Green Screen》，文中提出了一种创建蒙版（matting）的新方法，可以实现任意背景下的自动抠图，十分惊艳。

目前，该论文已被 CVPR 2020 接收。

 

算法自动抠图，效果完美 

目前，从作者给出的实现效果来看，可以说非常给力了，即使视频中的女主角疯狂晃动头发，算法也依然丝毫不受干扰地把背景抠了出来。

用 Soumyadip Sengupta 方法的场景转换

除了原始图像/视频之外，研究者还要求拍摄者多拍一张不带人物的背景图。这一过程要比创建三元图所需的时间少得多。 

他们用对抗损失训练了一个深度网络，用来预测蒙版。他们首先利用带有 ground truth 的合成数据训练了一个具有监督损失的蒙版网络。

为了在没有标签的情况下缩小合成图像与真实图像之间的差距，他们训练了另一个蒙版网络，该网络是在一个网络的指导下进行训练的，并通过一个判别器来判断合成图像的质量。 

作者还在各种照片和视频上对这一新方法进行了测试，结果证明这一方法显著优于之前的 SOTA。 

 

想去哪里，背景就换哪里

对于目前不得不宅在家的同学们来说，这个方法可让你过过旅游拍美照的瘾，想去哪里都不再是问题。

论文地址：https://arxiv.org/abs/2004.00626

具体实现方法如下（建议收藏）：

用手机摄像头拍摄一张带人物的图，再多拍一张不带人物的背景图。采用具有对抗性损失的深层网络来恢复前景蒙版（alpha matte）和前景色（foreground color），把结果合成到一个新的背景上。

对于手持相机，研究者假设相机的移动幅度很小，利用单应性（homography）将背景与给定的输入图像对齐。从输入中，研究者还提取了目标人物的软分割。对于视频输入，可以添加临近的帧来辅助生成蒙版。

实现效果展示

在室内和室外不同环境下，他们使用固定和手持摄像机捕获了 50  个不同动作主体的视频，当拍摄主体离开拍摄场景，他们也会拍摄不带主体的背景图。他们将很快发布此数据，以进行背景蒙版（Background Matting）的研究。

与现有方法相较 研究者将该方法与其他方法进行了比较，包括以下几种在基准上表现良好的深度蒙版算法：

（1）基于三元图（Trimap）：Context Aware Matting（CAM）和Index Matting（IM）进行比较，其中 Trimap 是通过分割自动创建的。 

（2）自动蒙版算法 Late Fusion Matting（LFM）进行比较。 

研究者首先在 Adobe Matting 数据集（只用不透明物体的图像）上训练了一个深度蒙版网络，然后在自监督和对抗损失的无标记真实数据上进行训练（Ours Real）。

研究显示，在真实数据上训练可以提高蒙版质量。

方法学会了吗？接下来，你也可以在家来一趟新马泰旅游了。

代码地址：

https://github.com/senguptaumd/Background-Matting

—— 完 ——

扫描二维码，加入讨论群

获得更多优质数据集

了解人工智能落地应用

关注顶会&论文

回复「读者」了解详情

更多精彩内容（点击图片阅读）