look资源网分享：最近这支化学兄弟的MV 《Wide Open》很夯，在避免又有客户看到这支，随便拍了一支自己感觉很有FU的影片想发来要做类似的特效，所以写了这篇分享。
可能有人会认为这是很简单的效果，只是局部换掉实拍舞者的肢体，而且一镜到底很好拍，在有这个念头之前有些幕后细节你可能要先知道，以下都是MV制作公司英国The Mill官方文章有凭有据，非随口唬烂。先来看看正片~
MV -Wide Open ft. Beck
「很多时候看起来愈朴素自然的镜头反而要下的功夫愈是庞大到令人无法想像。」
绝对不是找个废墟，约个会跳舞的正妹，找台5D或A7 (高画质数位单眼相机)拿起来开始拍，拍完再找个3D动画师说帮我贴回去，贴的跟这支影片一样简单好看就好…。再来看看幕后花絮~
重点1 场景
利用LIDAR扫瞄出来的3D环境档案搭配实拍影片做投影贴图与研发工具+搭配实拍底图混合而成。
LIDAR英文全名是Light Detection and Ranging ，一种光学测距的3D远程扫描方法，常常都是使用空拍机进行，一开始的用途是帮助科学家取得地表、海岸、人造建筑、甚至是龙卷风的精确立体数据做研究，一般来说都会至少由三个物件组成：测距雷射、扫描器、GPS定位仪。后来则广泛使用于视觉特效领域取代过往必须用手工重建3D环境，更精确也更有效率。(编)
重点2 舞者TRACKING
(1)使用ARRI原厂的LDS镜头来记录精确的焦段ZOOM资讯。
(2)使用11台GO PRO摄影机来拍摄舞者的全角度动作让动画师手工硬跟。
(3)请FBFX Digital公司来做舞者全身扫描建立精确的人体资料，方便之后来做OBJ TRACKING 。
(4)使用XSENSE来撷取舞者肢体动态档案。XSENSE是一间做3D空间TRACKING的领导厂商。
TRACKING顾名思义就是追踪的意思，通常泛指在后期取得摄影机动态资讯的制作环节，这里则是特指，一个是拍摄者(摄影机)的动态资讯，一个是被摄物(舞者)的动态资讯，目的都是为了能在3D环境中重现实拍现场的所有细节资讯。(编)
LDS英文全名是Lens Data System ，是德国百年的电影器材巨擘ARRI开发用来记录自家旗下数位摄影机资讯的系统，可以即时记录拍摄时的摄影机动态、焦段等数据细节，在后制时可以利用这些资讯替换成3D环境的虚拟摄影机，对于后期工作有莫大帮助。(编)
重点3 哪些地方是CG
(1)舞者全身。
(2)舞者身上的衣服与裤子都是。连The Mill都说做了再多设定也硬追不起来，所以衣服、裤子都是3D模拟，再与实拍合成。
重点4 使用那些软件制作
(1)用HOUDINI快速产生骨骼4肢的模型。
(2)用HOUDINI开发新工具辅助将场景修干净。
(3)用Zbrush刻细节。
(4)到Maya整合处理。
(5)用Photoshop + MARI画贴图。
(6)用Arnold算图。
(7)用Marvellous Designer与Maya NCloth处理衣服特效。
(8)用Nuke合成+处理物件投影。
接着我们再深入讲以上这几个重点的细节部分
4分半钟的一镜到底
使用ARRI的LDS系统镜头可以将变焦资讯(ZOOM)的焦段、焦距、光圈等资讯都写入到METADATA里面，所以可以做到纪录镜头与角色的距离资讯与变焦资讯而且也有助于在后期调出正确的景深。
补充：我问好几年有无记录摄影机ZOOM的方法，果然存在这种功能！主要重点是ZOOM的资讯非常重要，因为在TRACKING中ZOOM是一项非常棘手的问题，原来要搭配原厂LDS系列的镜头就能实现ZOOM的资讯纪录，几年前就思考过一般相机包含消费型的电子讯都能记录在EXIF里面了，为何ARRI的METADATA不会含这个东西？
这边说明一下，一般物件在不同焦段的镜头下，一样的东西会有不同的透视变化，而这种变形过程只要中间数据不对，那可能导致前后整段制作错误的严重问题，一个错误的距离资讯与会连带整个透视的错误而导致特效或是动态都需要全部重做的状况。
同一物体不同焦段的影像变化
至于焦距使用雷射测距仪只能纪录静态，动态对象根本无法纪录！难道有人能能办到以每秒24、30、60次的速度边点边记录？手再快雷射逼逼来回都要好几秒了，什么时候台湾才可以不用用着"大概的焦距" 、大概 "看起来对的比例" 、大概对着画面"手工硬对视觉修正" ？
舞者的数据收集
这段大概是说他们还使用了LIDAR的雷射技术扫描建立整个场景。要TRACKING这支作品的场景与镜头，如果没有非常正确的摄影机与镜头资讯是很有难度的。因为拍摄这段影片现场架设许多杂物会导致后期合成修图的工作很重，有了LIDAR的场景档案再搭配HDRI算出正确的光源，可以有效应用于辅助场景底图修干净的流程上。
补充：看到没有连The Mill都说难了~别想说"靠个AUTO点一下就能完成这种一镜到底的镜头“ ，要用台湾这10年来的做法可以，那就别要求现在世界水准的效果与品质。
为了要更加精确TRACKING，他们找了FBFX Digital公司使用了100台单眼相机来扫描舞者准确的3D资讯，制作出精确的贴图与数位替身，如此一来才能达到精确的人体TRACKING与填补替换上CG制作的身体物件(编：镂空的肢体)。
很难精确的Tracking 到完美
舞者 Sonoya 的数位替身(Digital Doubles)
补充：这边要说明一下，为什么是100台的单眼相机？因为这个舞者扫描的3D模型这是透过同时捕捉的100张照片运算出来的结果。这时一定有人会想说，那是不是一台相机也可以一张张拍呢？没错，的确可以，但是一台相机只限于"静止物体"的扫描。
因为人类是生物，除非是死人，不然不可能不动。当你换个角度拍摄的瞬间，就会因为身体不断的呼吸、手部的微晃而造成最终成形失败的误差，例如手指黏在一起整只手掌变成扇形之类的，所以才需要同时100台相机来捕捉。因为人是活生生的生物，因此变化是无法避免的，但这成本也已经比当年上千万的Lightstage便宜很多了。当然，LIGHTSTAGE还可以捕捉更多资讯与动态非这个装置能相比。
补充：在国外的Tracking不只是贴贴MARK点丢进追踪软体Tracking而已，而且国外用LIDAR扫瞄场景或3D扫描已经有10年以上的经验，所以也不能说是最新技术，但是要达到精确的、破绽少的品质还需要透过完整的SCAN或想办法产生LIDAR之类的"精确"档案才行，因为透过相机拍摄的资讯，会受到镜头的透视变形，片幅的裁剪影响，用一般的照片是无法拍出精准的尺寸物件(survey data)，需透过SCAN或LIDAR来取得，再使用这些辅助资讯来修正TRACKING的精确度。
而台湾大多数的作法是只用Bonjou、Sytheye、PFtrack 等追踪软体丢进去AUTO TRACK 就开始乱塞，这只会增加来回修改与重作的时间成本。
好比说之前接过台湾某公司的电影外包，要补特效说Tracking 他们会负责，还不准我插手…。结果镜头一来特效区域与反应物件区域真的是乱摆，整个动态与距离完全错误，我反映了，但他们坚持那是他们要的，最后该镜头光是来回修改新的镜位、新的位置就前后4次，最后还是自己来…。
工商服务，台湾固态记忆 有扫描model这个服务，请洽史莱姆大大，他们也是100台单眼相机，纯粹扫出来的3D档案价格是一颗头3万，全身7万，纯粹精确的人体比例3D档案而已，不含其他后期重新拓朴动画用模型制作费用。LIDAR技术服务在台湾高雄的日本MO-CAP公司新月映像有提供。
有时候我的要求真的不是无理取闹~ 拿国外的作品说国外都做得到之前，请先看看有没有足够的预算，谢谢。
回到舞者Sonoya身上，The Mill他们知道Sonoya会有很多幅度很大的肢体表演，为了让数位替身的变化与真实的Sonoya更贴近，所以他们请FBFX Digital公司，扫描了Sonoya许多极限动作的3D模型做参考，用来抓出Sonoya最正确的肢体反应与肌肉变化，并在MAYA中串成BlendShape使用RBF (已整合到最新的SOUP外挂中)解算皮肤的真实变化。
所以不要看她腿凹的那么自然，这可是用了全身扫描的技术所串出来的3D 动态做参考，而不是只丢一个影片就对着硬干到这种水准的品质。
除了找FBFX Digital做足事前的准备功夫之外，The Mill还找了专精动态捕捉的Peanut FX在现场架设了11台GO PRO摄影机记录"每个角度的动态"(witness cameras) ，使用48 fps高速摄影来纪录并当作TRACKING解算以及动画师调动画用的参考。
有了以上的东西：100 台相机串成的动态3D 档案，加上11 台GO PRO 相机给动画师全方位一格一格硬KEY 参考，还~ 不~ 够~ 喔！The Mill 他们还想过用传统的MO-CAP 动作捕捉方案，但是却觉得MO-CAP 无法精准的记录下每个动作，加上传统的MO-CAP 衣服对Sonoya 来说实在太碍手碍脚，所以他们找来了自由度较高的Xsens mo-cap ，在排练时撷取了几个完整回合Sonoya 的动态资讯做之后硬key 的参考，底下影片可以看到他们的Demo。
补充：或许他们曾想过此方案的档案也能使用编修MO-CAP数据的方式再试着对回去，不过最后还是没有采用此方法。这个态度就是：能不能用不敢保证~但真的能做的都要做…。
脑中回音：没办法，没那个预算。没办法，演员不能配合。合约没写，没办法….对啦~ 3D都有办法啦…没钱的办法就是找3D的办法啦….
最艰难的部分
取得正确的姿势资讯只是这场浩劫的50%而已。
因为这支片的舞者TRACKING横跨皮肤肌肉等技术，最明显棘手的地方就是要将CG的身体硬跟(追踪)舞者衣服的部分。Rigger已经尽力想办法在数位替身的模型上加入大量的控制器来看看有没有办法硬key硬跟，但他们最终意识到这效果根本有限，跟不起来。这也是为什么这本片裤子大部分都是3D裤子的原因！
所以，就算有11个角度参考影片与MO-CAP 资料了，但还是有高达5800 格画面需要微调硬修。
补充：啊，就说了啊…跟不起来的地方就跟不起来，只能衣服或肢体全3D的盖回去…还说不可能?
将场景中不要的东西修干净
现场塞了一堆东西(11台GOPRO 啦、摄影机啦、XSENS啦….等)要2D 一块块修实在工程浩大，所以采用先去TRACKING 出3D 摄影机的动态，搭配LIDAR 的场景重建模型，用Project的方式投影贴回去，最后在2D中使用投影的3D 模拟素材(projected pass)与实拍素材(main plate)之间产生干净的场景(hero clean plate)。
由于MV 是采用自然光拍摄，所以会有时间上自然光光影的问题，这会牵扯到随着拍摄时间光影不断变化。为了解决这个问题，他们使用了Houdini 并开发了一个工具。这个工具能通过指定要清除的区域，侦测前后张的变化，使用上面提到的3D 模拟素材(projected pass)来将正确光影的物件补回去。
补充： HOUDINI的功能都要开发的不是HOUDINI内建这个功能。
镂空肢体的美术
设计非现实中的东西，你必须去思考如何在现实中转换成理想的效果。
The design itself wasn't really, It's the kind of thing you have to rotate around to experience the desired effect.
美术是由得过艾美奖的概念设计师Nathan Aardvark负责，他提供了多种设计方案让团队与客户讨论这效果到可不可行，更难得的是，他还把整个接案到结案的过程画成有趣的图文，连结。(编)
继续回到制作。关于模型The Mill 先在MAYA 中开始着手，但是他们意识到在MAYA 中做这种骨骼的MODEL 很难回头修改。他们也试着用MAYA 的神外挂SOuP 来加速建模的制作流程，但很快地就意识到越变越复杂，效率越慢。试了一轮，最终选择Houdini 来制作模型。
毕竟老胡的强大节点编辑，可以快速产生修改许多版本，做完再丢到ZBRUSH 刻细节，最后再回丢到MAYA 中处理。总之，再说一遍，用HOUDINI 快速产生骨骼的模型，用ZB 刻细节，到MAYA 整合处理，用PS + MARI 画贴图，用Arnold 算图，用Marvellous Designer 与Maya NCloth 处理衣服特效。另外为了好看的皮肤变形，他们还开发了自家的一套Warp 外挂。
搅合在一块儿
最后，你还要把这一堆素材给兜在一起才是呈现在观众眼前的东西。
这种镂空骨骼表现方式也在合成上面临巨大挑战，合成时必须去处理光线因为骨骼产生的写实影子的合成问题，而且为了达到完美效果，影子必须要全身都要跟到，而不只是双手双脚。另外一个挑战是影子与舞者衣服的互动，最后，他们决定连衣服都全CG 啦….。很重要所以要说三遍~
谁说不可能？已实证非我胡乱脑补推理，The Mill 亲口说的，谢谢。
为了这一点，他们在NUKE 中将实拍素材直接投影在模拟完的3D 物件上进行合成，这个方案大大增加了合成上的弹性，不但可以随意增加写实的影子，也能很自然的移除原始舞者的轮廓、接缝...等，让CG 身体与镂空部分更加贴合真实。
大功才告成！
look资源网补充：
Q：为何不干脆全做3D然后再摆摄影机进去，也许可以省略复杂的Tracking，只抓舞者动态就好，或许方便许多? 感谢网友薄季凡的问题。
A：可以从两个方向来分析
1. 技术上，人体(尤其是头部)是非常复杂的有机组合，脸部表情、一颦一笑、皱纹细纹、眼睛(灵魂)与头发(发丝)的写实都有一定难度，静态也许还算容易(不过通常算个一张很逼真的CG 角色，大家会就高潮了，难度可见一般)，但是动起来要做到真实可信，而且还要充满感情，并且在特写镜头时毫无破绽，我只能说非常非常非常难。即便是好莱屋的特效大片也相当罕见用数位替身来演出特写镜头，通常还是应用在快速转换、充满动态模糊的战斗场面居多，更何况这只是一支MV。
另外，还有个有趣的点可以观察"头部"有多难CG 化。舞者的四肢与身体在替换成镂空CG 时，都是在镜内完成(好厉害啊啊啊啊)，但是只有在替乱头部时，导演特意安排了出镜的切换去避开。
2. 艺术上，导演应该会坚持现场拍摄的素材做为影像基础，即便后期可以做到几可乱真，但我想导演应该还是喜欢自己亲手从摄影机记录的影像吧(？)。
回到问题，Wide open 特效的主要困难点还是在：
如何在一镜到底的情况下换掉舞者四肢到虚拟肢体这个部份，所以用全3D去模拟真实舞者并不是他想挑战的。我想影片中，只要是舞者肉体的部分应该都是实拍素材(main plate)。
另外再补充王谷神前辈的说明：「应该是说，完全用CG 的部分不用对很准没关系，完全用footage (实拍素材)的部分也不用对很准没关系，需要对很准的是CG跟footage 有interact 交错的部分，像是CG 左脚的影子要加在footage 右脚上，你就要弄一个对很准的CG 右脚去接这个影子。」
底下这张图片应该还满明显的，四肢与四肢相接的衣服是3D，其他舞者身体衣服与头部还是用实拍素材。
编辑：look资源网 小鹿同学
更多AE C4D插件、教程、模板免费下载 lookzy.cn