如此高难度的面部捕捉技术，却被他们轻而易举的实现了

本文转载自公众号CG世界。

在近期举行的2016游戏者开发大会（GDC）上，EpicGames和游戏开发商NinjaTheory展示了能实时操控人类角色达到接近游戏最终视觉效果水平的系统。在GDC现场展示了Senua面部惊人的表演，这也让《地域之刃》中的女主和NinjaTheory视频的主创成为这届会上的明星人物。这个Demo克服了很多困难，包括细微的面部表情，高质量的皮肤渲染，当然还有来自现场几千部手机和其他可能的干扰。然而对于他们来说却轻易而举的实现了。

这个Demo是一个概念性的，但却也是一个非常具有实际意义的先进产品。按照NinjaTheory的首席创意官TameemAntoniades的想法，Senua是一个完整的游戏资产，这种高质量的现场捕捉的新方法将会成为NinjaTheory的标准流程。

（建议WiFi环境观看）

整个项目是在短短的七周时间里进行的一段现场表演的片段。当时Epic Game（UE4开发商）的首席技术官KimLibreri正在为这一届的GDC想方案。Epic团队也已经着手开始准备关于虚幻引擎游戏《Paragon》的演示材料。Paragon是一个多人在线战争游戏，双方各五名队员通过协作和策略进行对抗。其中枪手角色的面部工作使用了特殊的新型毛发工具，新的SSS材质和先进眼睛编辑和着色工具，从而使其非常真实的效果，但这都是高度定制的结果。此外，《Paragon》角色模型的校正使用Otoy的Lightstage扫描完成的。（lightstage是一种先进的面部扫描技术，可以对人脸的数字化采集的逼真度进行科学的校准。）

可是尽管渲染可以用虚幻4进行实时渲染，但团队没有一个复杂的面部绑定程序来完成实时的FACS-based（基础面部动作解码系统）的细节工作。那时，Libreri正在伦敦拜访客户，碰巧遇到了NiniaTheory，了解到3Lateral团队可以为Senua解决高细节与高精度的面部绑定工作。去年我们分享的那部由UE4官方发布的Demo《风筝》就是由Epic和Libreri与3Lateral共同合作完成的。

除了3Lateral，Libreri还非常高兴的发现NinjaTheory还与CubicMotion合作，这也成为能实现这次现场演示工作的关键。这家曼彻斯特公司的计算机视觉技术可以以每秒90帧以上的速率跟踪200多个面部表情特征，并自动的实时将数据映射到高质量的数字角色上。（在GDC上整个系统的演示只运行每秒30帧）他们的贡献是管理实时捕捉和应用先进的时空数据驱动3Lateral为NinjaTheory角色作绑定。

在距离GDC开幕还有七周的时间的里，KimLibreri坐在英国NinjaTheory董事会会议室里想：“这是一个世界级的工作，非常棒!他们是一个超级酷的团队，必将成为焦点，而这一切不仅仅在内部完成的一些事儿。”

NinjaTheory的TameemAntoniades开玩笑说他们团队只思考了10分钟，然后用了不到两个月的时间就制作出了这项突破性的演示。有趣的是，还有一个重要的因素，那就是MelinaJuergens对团队强有力的支持。之所以有她帮助进行的扫描，参考，灯光测试和表演的大力支持才节省了很多时间。例如作3Lateral扫描，她在带妆和无妆的情况下做了超过一百多个FACS表情。

“我们从他们的纹理，模型和绑定视角资产开始着手，同时也把我们已完成的项目，例如《Paragon》游戏中的Twinblast和Sparrow转移过来，让他作的更好！”Libreri解释道。Senua模型的绑定过程与Epic自己的Twinblast不同。NinjaTheory早期作了MelinaJuergens面部的模型和纹理并使用了3Lateral自己专有的扫描系统。

但有一项工作需要从《Paragon》中进行技术转移，就是眼睛。而Senua不要任何特殊的新Epic毛发着色，新的眼睛和皮肤着色。在高级图形程序员BrianKaris与Haarm-PieterDuiker带领Epic团队一同协作下，【Haarm-PieterDuiker为Maya和Houdini的建模，绑定，灯光和FX团队开发通用Pipeline工具的知名公司。后来开发了著名的ACES（AcademyColorEncodingSystem）】可以让3LateralSenua使用同一眼睛制作的技术。

该团队还施展了新的SSS材质，这也为现场的演示增加了更多的惊人表现。“《Paragon》里的角色皮肤多数不会改变，所以我们作了些工作精细到毛孔级而且整个脸部非常粗糙，但大部分的技术我们都集中在了眼睛区域，你可以透过角色的眼睛感受到非常丰富的情感。”Karis解释道。

Senua的眼睛得到了明显的改善，特别是在眼睛的着色，眼睛材质和眼睛的周边。“泪腺，眼睛周围，你所需要做的所有事就是让眼睛与其他脸部融为一体。”Duiker说。而眼睛不是基于Juergens眼睛的细节扫面而来的，他们作了详细的拍摄参考使制作出来的眼睛尽可能完全的与Juergens眼睛匹配上。这工作非常精细，Karis说：“眼睛周围更好的闭合，就越能整合眼球周围的肉（使其平滑的过度），沿着眼睛底部制作湿润的泪线，以使能在泪尘和眼球之间平滑过渡。”

自然，所有基于Epic技术的模型必须经过转换，然后才能添加3Lateral的绑定。至此Senua的工作取得很大的进展，然后剩下将反馈到Epic的其他工作上，因一些在现场演示直接可以进行的工作都已完成，包括皮肤的着色和新SSS材质等。模型仍然是基本的屏幕空间中子表面离散，为了给PS4做优化，团队改变了方法，把高光着色从漫反射着色中分离出来获得更多单独控制权。在皮肤上有一些极其精细的贴图，除了添加了高分辨率的扫描数据外，还用了3Lateral一个非常复杂的面部皱纹贴图，它可以与产生正确的皮肤细节相吻合。

3Lateral的面部扫描过程

（建议WiFi环境观看）

再比这还高一级的还有一个新的面部表情变形混合技术，对于法线问题将会得到很好的操控，“过去计算法线，仅仅是通过混合每一个形体的法线后才得以完成，但是现在Mesh变形到新的Pose上后，再从新计算法线，这是一个更完美的方法。”Karis解释道。

“这也就意味着在虚幻4角色中你可以得到电影级别的绑定。”Libreri补充说：“现在，在引擎内混合形体，你会得到更为清晰锐利的视觉渲染效果。”

在GDC的演示现场，Juergen头部绑定装置是由来自洛杉矶的Technoprops提供的。一个立体的绑定装置通常用在离线表演的游戏捕捉中。但对于GDC，这个团队放弃了单一的绑定方式。为了能让现场自然的表演，他们在Juergen面部从顶到底部加入很多点和颜色。当然，这么做也许不是必须的，但是降低了当天现场演示出错的风险。

提供这次精彩现场表演的不仅仅是这些，还有音响，记录和混合（图像和图像之间）。在表演和投影机中观看到的图像之间有275毫秒的延迟，他们提供了与音频延迟的匹配度，保证了与嘴唇同步。

（建议WiFi环境观看）

一旦前期面部的工作解决后，团队的工作扩展到其他方面，包括Ikinema（全身动作解算器）和Xsens（运动捕捉系统）所以需要解决的问题不单单是Juergens的面部还有她的全身实时渲染问题和添加复杂的动捕。“稳固Xsens，使之与Lkinema整合，并让他们运转起来，这些伙计做的非常完美。”Libreri谈论道。

场景中的灯光同样也很复杂，在场景中会产生9个阴影投射，并且角色是在充满雾气笼罩的环境中运动。为这个演示团队由什么参考呢？“恩，我们正在寻找参考资料，我们想有什么电影可看呢，而且是比较自然的东西，这正好赶上《荒野猎人》在奥斯卡上提名，我们在网上看到了《荒野猎人》，耶！就是它了！”Libreri说道。

NinjaTheory精心为UE4制作了一个扩展体积光，“它是一个参与性的媒介，体积光来执行。”Antoniade解释道。团队在有火的地方放置了一连串的灯光，这就照亮了体积，然后在现场演示中就看到了影视级的光轴效果。

Antoniades2014年十月在欧洲的DICE谈论《地狱之刃》游戏项目时说，“努力让游戏开发变成一个有趣和开放的过程。”他认为作为一个行业，目前正进入数字发行的时代，但是NinjaTheory不想在质量上妥协，这导致了模块化的合作，在一个核心团队仅仅只有16人的公司在做游戏。Epic'sKimLibreri插话说：“他们都很谦虚，这不是一个普通的16人团队，每一位队员都非常牛逼！”