不用建模渲染自动生成效果图?!StyleGan除了画萌妹子还能做什么--在 CG 中使用 GAN: 概念艺术工作流程

机器翻译,原文请见Using GAN in CG: Concept Art Workflows机器翻译,原文请见

https://80.lv/articles/using-gan-in-cg-concept-art-workflows/80.lv/articles/using-gan-in-cg-concept-art-workflows/

Max Schulz 深入研究了基于 GAN 的方法的发展,展示了它们在概念艺术中的实现,并与 Artbreeder 的创建者 Joel Simon 讨论了该技术的未来。

前言

我们都喜欢计算机可以为我们执行烦人的工作这一事实。我们已经知道如何做的工作,是可重复的,而且通常也是重复的。

在过去的几十年里,程序生成等新流程一直在帮助我们以最少的投入实现多样化的结果,让我们专注于创新。无论是早期 rogue-like 游戏的程序级别生成的形式,还是 Speedtree 等程序性质,或者是最近在Substance Designer 中看到的带有噪声程序主义的程序纹理的巨大可能性。

现在镇上有一个新孩子:GAN - Generative Adversarial Networks 的缩写。

神经网络生成新数据,在所谓的 StyleGAN 的情况下,它会创建图像或序列。

这些机器学习框架让两个人工智能相互竞争,以测试和学习被认为是现实结果的东西。这是基于您为网络提供的库。

当我们回顾 GAN 的早期版本时,它们非常简陋,结果值得怀疑。至少没有人会说;“让我们在下一个大型视频游戏制作中使用这个可怕的 DeepDream 狗骑士形象。”

图片来源:Alexander Mordvintsev / Google DeepDream 2015

然而,即使在这些笨拙的开端,更大的公司已经看到了 GAN 的巨大潜力。现在是时候不仅大公司能够使用神经网络来支持他们的制作,而且对于小型工作室、自由艺术家和普通消费者来说,它也是可用且负担得起的。

这种变化带来了巨大的机会。无尽的。它还伴随着我们作为创意人员应该注意的一些潜在危险和陷阱。在下文中,我将概述如何成功使用 GAN,未来可能会带来什么,以及所有这些对我们未来 5 年的工作意味着什么。

介绍

让我们来一次小旅行回到过去。这是我一年半前在 GAN 网站上创建的图像,您可以在其中输入定义环境属性的颜色编码区域。你可以在你想要的地方画云彩、河流、广阔的山脉,甚至是有四排窗户和一扇大门的建筑物。

然后你可以点击生成按钮,“魔法”就会发生。第一次尝试时我惊呆了,我分享了结果后,我的大多数同事和朋友也是如此。

第一次感觉这些网络变得如此强大以至于生产实际上可以从它们中受益,而不是几个小时的工作,这个工具可以很容易地在几分钟内一个接一个地喷出一个现实的景观概念。大约在同一时间,NVIDIA 的一个团队正在开发他们自己的工具,该工具还允许您在我刚刚提到的分割图输入的同时改变整体的轻松气氛和一天中的时间。

几个月后,我看到了 Scott Eaton 的精彩演讲,他正在构建一个深度学习 AI 网络,并用他为表演者拍摄的照片集提供给它。他会使用这个自建网络来创建抽象的人体形状,并使用他的线条图作为输入。

他最终达到了一个实验点,他在不太具象征意义的立方体和形状上训练了网络。在 AI 学会解释其新库后,Scott 再次根据他的线性绘图输入将结果制作成实体雕塑。

时间快进到大约两个月前,这是我们工作室新制作周期的开始。精彩的前期制作时间。就像早期开发过程中经常发生的情况一样,我们有更多的自由进行实验,回到绘图板,并找到很酷的新方法,不仅可以创建疯狂的视觉效果,还可以重新思考我们艺术部门的流程。前期制作始终是尝试确定耗时的杂务以及如何克服可怕的软件桥接问题的好时机,或者甚至只是稍微优化每个人的工作流程。

考虑到这一点,我想到了我不久前使用过的一个网站,名为 Ganbreeder。此页面允许您输入自己的图像,并将它们与来自其他创作者或其库的现有图像“杂交”。从那时起,该网站更名为Artbreeder,现在托管了大量针对特定目的训练的 GAN,例如环境、角色、面孔或更专业的类别,如动漫和毛茸茸的脑袋。

所以我对这些生成器进行了真正的深入研究。

我花了大约两天的时间使用该工具才不再被我自己的创作所打扰。不要误会我的意思,我喜欢这个工具并很快就对它上瘾了,但结果有时也给了我一种令人毛骨悚然的不安感,有时甚至是不可思议的感觉。这段时间过去后,我向团队展示了我的结果,我们开始讨论这个杂交种提供的可能性。

应用

让我们真实一点。如果您要正确设置和训练自己的神经网络,那么您拥有的选择是无限的。您可以更具体地针对特定目的创建它们,不仅取决于您训练系统的库,还取决于您希望输入方法和变量如何塑造输出。

但实际上,对于我们大多数人来说,在地下室没有服务器群或没有适当的编程/脚本技能,我们仅限于网站选项和摆弄我们可以获得的结果。

对于我们的制作,我发现了几个已经证明非常有用的主要方面。不仅可以节省时间,还可以吸收新的创意。人们可能无法想象的想法。

我们的项目需要我们创造出让人感觉非常陌生和出乎意料的概念,到目前为止,这是 GAN 展示其优势的方面之一。他们能够提供乍一看看起来逼真的结果,但如果您允许,他们可以创造出奇怪的、不寻常的形状和设计。

以下是 GAN 的几个用例的细分,以及到目前为止我是如何使用它们的。

人物概念

到目前为止,我对角色概念的当前可用性状态感到非常复杂。原因是; 角色是任何电影、游戏或任何其他讲故事媒介的核心。它们是精心制作的,依赖于许多方面的结合,因此它们需要遵循非常具体的规则,很少是任意或随机的。当然,这仅适用于具有故事和背景的重要主角。

对于这些情况,在收集 GAN 的输出后做很多额外的工作是非常必要的。您经常需要改变视角、变形某些部分并将其他部分拼贴在一起。然后,当然,在与设计师、作家或技术艺术家交谈后,您会再次重申。它几乎可以与常规的角色设计方法一样长,无论是草图还是照片抨击方法。

这些网络的另一个强项是服装和服装创意。在这里,我看到了从完全奇怪但很酷的东西开始并在此过程中淡化它的好处,以便它变得可读和合理。

另一个很好的机会是背景人物和外星人。他们通常不受严格规则的约束,甚至因无法识别而受益。

人像

我在这个问题上挣扎了很多。结果有时几乎太好了。在我刚刚创造的一张人脸向我微笑后,我感到害怕和不安,自信地像我桌子上洒的咖啡一样真实。结果绝对可以用于生产。我毫不怀疑,在几年内,许多发布的现实游戏的概念艺术,比如《最后生还者》将登陆 Artstation,没有人会问或惊讶这些图像是如何制作得如此逼真。

对于训练有素的网络来说,更加风格化或抽象的面孔是一项轻松的任务,让艺术家能够快速查看特定角色在不同风格下的外观。或者一个角色如果留着更多的胡须或更温和的五官,或者如果他们的脸宽两倍,或者发型不同,会是什么样子。

在这个真实的例子中,我对脸部使用了 StyleGAN,因为它允许我快速创建 3/4 的脸部视图,显示角色微笑,或者为人创建替代外观。对于其余部分,依靠传统的 photobashing 和覆盖它更快、更清晰。

陷阱

值得一提的是,这些 GAN 绝不是某些人多年来一直希望的神奇的“制作好的艺术”按钮。它仍然需要一个知道他们想要什么以及之后如何处理的人。未经训练的人当然可以更快地创作出很酷的图像,并且具有 10 年艺术创作经验的人和刚开始创作的人的图像之间的差距更小。但是,您仍然需要了解设计的基础知识,例如构图、颜色和光线、设计中的比例等。

另一个重要因素是后期护理。创建要为管道做好准备的映像后,请使其做好生产准备。而这取决于您只有在各自领域工作才能获得的技能和经验。如:设计需要遵循哪些动画要求?单个设计是否与整体产品的目标或视觉指南一致?

未来

或许未来每个设计师都会把训练一个模型当作工作中的一部分。如果你对这方面工作有兴趣,欢迎私信我,一起训练专业设计师应用领域属于自己的模型。

本文使用 文章同步助手 同步

你可能感兴趣的:(不用建模渲染自动生成效果图?!StyleGan除了画萌妹子还能做什么--在 CG 中使用 GAN: 概念艺术工作流程)