美国高校研发图像处理机器学习模型，同通过多种方式修改任何图像

技术编辑：芒果果丨发自 思否编辑部
SegmentFault 思否报道丨公众号：SegmentFault

加州大学伯克利分校和 Adobe 研究所的研究人员在一篇论文中描述了一种交换自动编码器，这是一种专门为图像处理设计的机器学习模型。

研究人员称，这种机器学习模型可以用多种方式修改任何图像，包括纹理交换，同时与以前的生成模型相比，效率更高。

交换自动编码器可合成逼真图片

研究人员表示，他们的工作可以用来制造难辨真假的图像或合成媒体，将现有的图像或视频中的人替换为其他人的肖像。在一项人类感知研究中，使用交换自动编码器创建的图像将受试者蒙骗了 31% 的时间。但是他们也提到，检测器至少有至少可以在 73.9％ 的时间内成功发现由该工具操纵的图像，这表明“交换自动编码器”没有比其他 AI 驱动的图像操纵工具更有害。

论文的合著者在报告中写道：“我们证明，基于自动编码器模型的方法与以前的工作相比具有许多优势，因为它可以实时准确地将高分辨率图像嵌入到将纹理与结构分开并产生真实感的嵌入空间中，并生成真实的输出图像……表示中的每个代码都可以独立修改，以使生成的图像看起来既逼真又反映了未修改的代码。”

轻量级 AI 模型，可实时准确嵌入图像

研究人员的方法并不新奇，因为许多人工智能模型可以通过编辑图像的某些部分来创建新图像。例如，MIT-IBM 沃森人工智能实验室发布了一个工具，可以让用户上传照片并定制图片中的建筑、植物和装置的外观，Nvidia 的 GauGAN 可以创建从未存在过的栩栩如生的景观图像。但是，这些模型在设计上往往具有挑战性，并且运行起来计算量大。

相比之下，交换自动编码器是轻量级的，它使用图像交换作为“借口”任务来学习对图像处理有用的嵌入空间。它将给定的图像编码为两个独立的潜在代码——“结构”代码和“纹理”代码——用于表示结构和纹理。在训练过程中，结构代码学习与场景的布局或结构相对应，而纹理代码捕捉场景整体外观的属性。

交换自动编码器适用于新手用户，可创建大众化内容

在一项实验中，研究人员在一个包含教堂、动物面孔、卧室、人、山脉和瀑布图像的数据集上训练交换自动编码器，并开发了一个网络应用程序，可以对上传的照片进行精确控制。该应用程序支持全局样式编辑和区域编辑，以及克隆，用一个画笔工具来替换图像的其他部分的结构代码。

研究人员称：“用于创造性表达的工具是人类文化的重要组成部分，像我们的方法这样基于学习的内容创建工具可以用于大众化内容创建，让新手用户可以合成引人注目的图片。”