本文不定期更新,最新内容请访问: https://www.shuaiqi.me/2019/09/08/shijuexiaoguozhizuoliuchengthe-visual-effects-pipelineyiandrew-whitehurst/
本文译自Andrew Whitehurst的The Visual Effects Pipeline,采用CC BY-NC-ND 3.0进行许可,原文地址:http://www.andrew-whitehurst.net/pipeline.html
水平有限,如有任何纰漏,敬请指正,以下为译文
我之前常被问到这样的一些问题,比如一个VFX团队的组织架构是怎样的,各个部门都是做什么的。常人问出这样的问题一点也不奇怪,因为在一个团队中,有很多部门互相高度依存而且它们的名字常常让外行人感到难以理解。我这篇文章的目的,就是尽我所能地带领您走一遍各个制作阶段,了解每个阶段具体是做什么的;然后看一下团队中各个部门的工作职能,看他们在整个流程中处于什么样的位置。让我们开始吧:
接下来,我们将在这个黑色区域一步步地描绘出出整个电影制作阶段的流程,从最开始准备到最后成片。任何电影的制作都有三个大的关键阶段,所以我们先将它们表示出来。
前期制作(Pre-production)是电影制作的第一个阶段,其特点是此阶段的所有工作都是在正式现场拍摄前完成的。根据项目的不同,其花费的时间可能在几周到一年不等。
制作(Production)阶段是电影的实际拍摄,在拍摄工作进行的同时,VFX团队也会参与其中,在台前幕后进行着他们的工作。拍摄会持续几个月,也有的会长达一年有余。
在制作(Production)阶段拍摄完成后,就进入了后期制作(Post-production)阶段。这是VFX团队奋战的主战场,在这个阶段需要与客户频繁地接触洽谈。除VFX的制作外,此阶段还会涉及到剪辑、声音等等。
R&D(Research and Development)在任何一个大型视效团队都是关键部门之一,大多数项目都需要编写工具,目的要么是使已有的流程或工具变得更快或更高效,要么为新需求编写新的工具。视效的本质是利用技术手段不断打破现有水平的疆界,随之观众对视效的需求和审美也会不断提升。像Nuke和Maya这样的现成软件是无法满足项目的所有需求的,这时就需要由程序员、科学家和数学家组成的R&D部门出场了。这些工具可以编写为现有的软件(如Maya)的插件,也可以编写为独立的程序。可能会有若干个R&D小组分别分配给不同的项目,但一般来说,他们是整个公司的资源,因为为一个项目编写的工具可能同样适用于另一个项目。
说服客户选择我们公司服务的手段之一,就是通过测试样片来证明,我们可以实现他们想要的外观效果、风格或技术。测试(Tests)是作为一剂强心针存在的,证明实现我们可以实现他们想要的效果。测试样片通常由经验丰富的艺术家制作完成,因为样片具有高度的实验性,还可能需要紧急开发相关工具。一旦拿到订单,我们就可以开始模型制作工作了。
建模(Modelling)通常在前期制作就已经开始了,因为在PreViz(Pre-Visualisation)和测试需要用到一些低精度的模型。客户也可能会提供一些模型的图片或者粘土雕塑模型。这些图片和雕塑模型用于制作可用于实际画面的CG资产。正如您看到的那样,建模工作会一直持续到后期制作阶段的开头,大多数团队的目标都是在实际拍摄完成前准备好所有的模型等资产。模型会制作成几种不同的质量等级——为最终渲染准备的高精度模型、为动画准备的中精度模型和为PreViz准备的低精度模型。
PreViz是在故事板或脚本基础上,用低精度的模型和贴图实现3D效果来预演大致画面的过程。主要思路是将平面故事板转为3D形式,这样导演就能更好地了解这一片段发生了什么,而且能够在昂贵的实际拍摄之前推敲摄像机的移动和设置。PreViz通常被制作成动画的形式,并以低精度渲染。在最终的方案确定之前通常会经历若干个版本的迭代。通常情况下,PreViz仅起到一个指导作用,所以拍摄的镜头可能与原本的PreViz差距很大,但有时候也会高度一致。
一旦实际拍摄开始,通常VFX团队的代表会出现在VFX相关镜头的拍摄现场。通常代表会是视效指导、CG指导或2D指导,因为他们对于镜头的VFX制作过程有最好的全局观。除了在有需要时提供关于VFX方面的建议,现场代表还会拍摄尽可能多的照片(Reference Photos)。这些照片可能会被用作模型参考、贴图参考、灯光参考或者数字绘景的素材。其主要目的是拍摄记录下尽可能多的视觉信息,以便如有需要,所有环境信息能顺利在CG中重建。
除了参考照片,3D数字扫描技术也常用于片场记录,它通常由关键置景、道具和演员组成。Lidar是一种基于激光的3D扫描设备,它可以创建高度精细的建筑物和环境模型。小的物件也会使用类似的设备扫描。这些设备生成的模型通常非常精细,或者说是臃肿,它们可能会有数百万的多边形。模型师在建模时会参考这些机器产生的模型,借助基于多边形的高精度扫描3D模型,艺术家能够确保CG物体始终与现场位置对应。
除了拍摄一般的参考照片,VFX的团队还会拍摄各个场景的高动态范围照片,以便灯光TD(Technical Director)在打光时可以利用基于图片的打光技术(Image-based Lighting Techniques)。每张照片通常由两张180°分开的鱼眼照片合并组成。每个场景可能会以5种不同的快门速度拍摄,以获得尽量多的阴影和高光细节,然后合并成一个浮点Lat-long的照片,以便VFX团队的灯光和LookDev(Look-development )艺术家使用。
一旦拍摄完成,经过初步剪辑的胶片会被转换成数字格式(胶片数字化)。如果拍摄使用的是Super 35mm胶片,那么胶片一般会扫描成2K即2048x1556分辨率。每帧都会从胶片负片扫描成一个独立的高动态范围图像,以尽量保留尽可能多的细节。(译者注:从2013年起,数字拍摄全面超越胶片拍摄成为电影拍摄的主流,数字拍摄流程与此略有不同,此处仅供参考)。
一旦图像素材送到了VFX团队,通常需要进行技术调色(Technical Grade)。调色是一个调节曝光和颜色的过程。技术调色的目的是使一个序列中的所有镜头都具有相同的整体外观和感觉,以使在不同的镜头之间不会出现“跳跃”的感觉。艺术调色(Creative Grade)是由摄影导演和数字中间片(DI)的调色师一起完成的。技术调色不涉及艺术,它的作用仅仅是让图像素材的颜色和曝光看起来一致。
无论是在胶片上还是基于CMOS元件拍摄,噪点都是不可避免的。为了处理这些噪点,合成团队通常会使用技术手段去除噪点和胶片上的划痕。这个过程叫做Dust-busting,其为素材准备(Plate Preparation)的重要步骤之一。
一旦模型完成之后,需要进行绑定(RIgging)。绑定是一项非常有技术性的工作,它需要一位对物体移动和交互有深入理解的艺术家。生物绑定尤其难,因为骨头、肉和皮肤的变化需要由绑定模拟表现出来。一旦绑定初步完成,接下来就由动画师进行测试,然后基于测试不断修改最终完成一个完美的版本。绑定可能会贯穿整个动画阶段,因为动画师会不断提出修改意见。动画师开展工作除了需要绑定的模型,还需要运动匹配信息。
一旦图像素材准备完毕并且绑定的模型也准备好后,跟踪(Tracking and Match move)部门该出场了。要做的第一件事就是求出摄像机轨迹。一些3D跟踪软件比如Boujou、3DE或者PFTrack就派上了用场。还记得拍摄阶段做的事情吗?摄像机镜头的焦距等信息会被记录下来,以应用到跟踪环节的CG摄像机。这通常需要进行手动调节,以使得CG摄像机、跟踪点等信息与现场摄像机运动信息相匹配。
精确的摄像机跟踪信息完成之后,接下来要进行运动匹配或者身体跟踪。身体跟踪是一个与现场人物或物体的动作和模样完全一致的CG模型。如果你想要加一个CG的东西到实拍的人物上,你可能需要进行身体跟踪,比如加一个假的尾巴到地狱男爵(Helloboy)的身上,首先要做一个模型人物,然后利用人物跟踪信息结合绑定使得模型与实拍人物的样子和动作完全一致,然后是做一个CG的尾巴素材渲染出来,经过合成最终看起来一条尾巴就真加到了人物上。立志成为TD或者动画师的新手们经常从摄像机跟踪和运动匹配做起。
动画制作(Animation)是赋予绑定后的模型以生命的过程,它的对象可能是动物或人物,也可能是一辆车或者其他任何会动的东西。动画师倾向于使用中等质量的模型,因为它们足够精确但又不会臃肿到使工作站卡顿。一个宽松、轻量的工作流能够让动画师精细制作出一个自然真实的效果。灰模动画预览会展示给客户,然后根据客户的意见不断修改迭代。(译者注:此阶段主要是制作人物物体的动作及运动)
特效(Effects Animation)指任何涉及模拟的内容。通常会分为三类,粒子(Particles)、刚体动力学(Rigid-body Dynamics)、流体(Fluids)。特效TD会综合实拍照片、模型等作为特效模拟的参考基础。比如《地狱男爵》中的Liz Sherman发射的火焰是一种流体特效。
模型完成之后,它们还需要进行材质贴图(Texture Maps),包括颜色、细节、纹理等。利用现场拍摄的参考照片,材质师能够做出Diffuse Colour、Specularity、Displacement Map和Bump Map等。这些贴图一般非常精细,如果摄像机离模型很近,那么贴图的分辨率有时能够达到8K。
LookDev是将材质贴图、着色器(Shader)和灯光等组合在一起以确定成品模型最终外观的阶段,LookDev艺术家会不断调整亮度、反射率和粗糙度等,直到与现场拍摄(如果有)的效果完全一致。对于没有现场拍摄镜头作参考的东西,将由视效指导和导演来把关。如果特定的特效需要一种新的着色器,LookDev艺术家也会与R&D协同工作。还有一些LookDev艺术家会编写自己的着色器。
一旦动画制作和LookDev都获得通过之后,灯光(Lighting)艺术家就可以开始渲染(Lighting and Render)最终的CG。他们会使用LookDev提供的着色器设置参数和HDR照明图,其中HDR照明图主要是在拍摄现场拍摄的,但有时也会根据需要做一些增强,比如边缘微光或者眼睛里反射的光。灯光师会渲染若干个CG图层,然后与现场拍摄的素材做一个简单的合成,来测试渲染效果。一旦渲染的CG图像获得通过,那么就可以给到合成师进行真正的合成。
在电影制作过程中,我们常常需要实现一种这样的需求:把制作的CG素材放在前景和背景之间。为了实现这种效果,通常需要Roto(Rotoscoping)艺术家在每一帧之上都绘制出前景的遮罩,然后合成师可以先添加CG素材再把前景遮罩放上去,这样看起来CG就自然地地放到了前景与背景中间。有些镜头可能是在蓝幕或绿幕前拍摄的,在这种情况下,可以用抠像工具创建遮罩。对于没有蓝绿幕的情况下,Roto是创建遮罩的主要方法。想成为合成师的新手们通常从Roto开始。
除了使用全CG特效素材,实拍素材(Element Shoots)也是个不错的方式,特别是像烟雾、飞石和灰尘等自然现象,可以在黑色、蓝色或绿色幕布前拍摄这些真实的效果。VFX团队通常有个巨大的资产库,里面存放着大量的爆炸、烟雾和血液喷溅等效果,以便合成师所用。
合成(Compositing)是流程中的最后一个环节,它将所有CG、特效、素材等组合在一起,来创造出一个以假乱真的图像。在这一环节,还可能会进行数字绘景(Mattepainting)工作。合成师会运用各种技术使得所有的元素集成在一起,让镜头看起来以假乱真。合成师必须对光学和成像特性有很好的把握,并且还要有良好的艺术眼光。一旦合成部门完成了工作,将会给到视效指导和导演以获批准。
合成成品获得视效指导和导演的通过之后,它就会被给到客户,客户对它进一步地艺术调色等,最终成为可以在电影院放映的成片。
写在最后
从上面的图表可以看出,整个VFX制作流程非常复杂,需要不同部门之间或多或少的合作才能完成。不同公司的工作流程可能不尽相同,但是上述流程代表了我所了解的公司他们的大致制作流程。还有,一些小的项目可能一个人就承担了多个环节的工作,也有可能在大项目中一个环节就需要数十人同时进行工作。但不管项目大小、人数多少,大致的流程基本都是相同的。
希望以上能够帮到你。