对电影制作是一大福音!Recycle-GAN 研发出能简单转换影像新技术

近日于德国举行的欧洲计算机视觉会议 ECCV 2018 上,卡内基美隆大学(CMU)研究团队展示出它们设计的图像处理方式,可以自动将影片中的内容转换为另一个影片的内容,不只是人们面部表情,甚至连花朵的绽放、云朵的移动都可以进行转换。

对电影制作是一大福音!Recycle-GAN 研发出能简单转换影像新技术_第1张图片

由于团队设计出的方法不需要人为干预,因此可以将大量影片快速转换,同时也可用于将黑白影片转换为彩色,或替 VR 体验创造内容,因此对于电影制作来说可说是福音。

CMU 机器人研究所博士生 Aayush Bansal 表示,他协助设计这种算法的主要动机,就是协助相关电影制作能够更快、更低成本的进行。「这是艺术家的工具,给予他们一个初始模型可以自行改进。」

当然 Bansal 也不讳言的表示,这项技术确实有被用于「deepfakes」的可能──所谓的「deepfakes」,指的是影片中未经许可置入某人的影像,使得那个人看起来已经完成或说出一些不合时宜的事物。

「对于这个领域的所有人来说,造假可以如此进行且具有影响力是非常惊人的,找到方法去发现它们将会是很重要的进展。」

团队使用的技术是基于生成对抗网络(GANs),其中鉴别器(discriminator)用来学习检测图片或影片的内容是否一致,而生成器(generator)则是用来学习如何创造符合某种风格的图片或影片;在这两种模型激烈竞争之下,系统最终就会懂得如何将内容转换成某种风格。

而在 GAN 的相关应用上,CycleGAN 是相当受到欢迎的一种变体应用,这项 2017 年出现的技术已经证明能有效将图片转换为另一种图片的样式,然而在整体影像转换上仍具有一些瑕疵存在。

为了应对这样的问题,研究人员开发了名为 Recycle-GAN 的新技术,不只是空间信息,同时也将额外的时间变化纳入考虑,进一步限制转换的过程并产生了更好的结果。

在研究人员的测试影片中可以看到,Recycle-GAN 可以自由的将两位脱口秀主持人的影片相互套用,让 John Oliver 做出 Stephen Colbert 的表情,反之亦可以让 Colbert 说出 Oliver 口中的话。

而将真实人物的表情转换为卡通人物也可轻易做到,不仅是面部表情,表演的动作和节奏也都可以进行。同时除了人以外,甚至是将花朵以其他花朵的盛开形式绽放、将天空中云朵的移动转换为另一种天气的情况,类似的改变都能够轻易做到。

Bansal 认为,这种效果对于能在夜间或恶劣天气驾驶的自驾车来说很有用。因为要获得能识别物体的夜景、暴风雨天气的影像非常困难,而 Recycle-GAN 则可以将容易获得、识别物体的日间场景转换为夜间或暴风雨场景,提供自驾车影像来训练面对这些情境的操作。
文章转自:http://room.e-lotus.org/sitemap.html

转载于:https://my.oschina.net/u/3885866/blog/2209585

你可能感兴趣的:(人工智能)