震惊！英伟达 4 月的发布会全部是合成的
本文转载自IT之家
8 月 12 日消息 英伟达今年 4 月份那场发布会，你曾看出什么不对劲的地方吗？
你品，你细品：
刚刚，在计算机图形学顶会 SIGGRAPH 2021 上，英伟达通过一部纪录片自曝：那场发布会内藏玄机～
你看到了老黄，但也没完全看到。因为，这是一场当面“造假”的发布会。
画面中老黄的厨房、标志性的皮衣，甚至他的表情、动作、头发…… 全都是合成出来的。
这是一场开在元宇宙里的发布会，发表演讲的是英伟达 CEO 黄仁勋的数字人替身。
彼时彼刻，恰如此时此刻。
黄老板真给自己找了个替身。
没错，全世界都被黄仁勋骗了！
整整三个多月谁也没发现。
而且不光他自己，大到厨房的家具抽屉：
小到厨房里摆放的金属罐、甚至是老黄的乐高小人，都是被渲染出来的：
知道真相的我就如同导演李安：
这一切是怎么发生的呢……
到底怎么造假的？
数字人想要以假乱真，一定要做到细节丰富。
因为人脑专门有一套系统用于识别同类，有一点不对劲之处都会在几毫秒之内引起警觉。
所以要造假的老黄，得到摄影棚里拍上几千张各种角度的照片，通过一套 3D 扫描，把他脸上的每道褶子都采集成数据。
为了让效果更逼真，他那件拉风的皮衣还得单独拍。
用得到的数据对老黄做 3D 建模，为了方便后期编辑，先要把他的头发薅光！
具体到手指的细节，也需要非常仔细地调整：
建模完成好，下一步是让老黄动起来。
不过这里就不需要费时费力地进行手工操作了，AI 已经能够胜任。
就像这样，用上最新的 Audio2Face 模型，AI 可以随着语音播放自动调整模型的面部动作表情。
动作是没问题了，但是皮肤材质看起来还是不够好，和发布会上的效果没法比。
这就需要另一个 AI，用一张老黄的照片就能匹配上动作合成到动画里去。
身体动作就不用老黄自己采集了，而是找来专业的动作捕捉演员，毕竟 CEO 肯定时间有限。
这样所有的前期准备工作就完成了，接下来是渲染。
看看这个自研的 Omniverse RTX 渲染器：
就真的是字面意义上的实时光线追踪，移动视角，调整光线都立刻完成更新。
这背后具体用了多少块显卡英伟达倒是没具体说，总之是多 GPU + 云计算才能搞定。
这场虚拟发布会，总共有 34 个 3D 美术师和 15 个软件研究人员参与。
他们一共做了 21 个版本的数字老黄，从中选出最像的那个，做出了这场精彩的发布会。
还真是把全世界都骗过了。
英伟达“造假”有多强
上面这些“造假”的效果，背后都来自于一个名为 Omniverse 的平台。
没错，英伟达研发的计算机图形学（CG）技术太多，多到已经能整合成一个平台了。
从 CG 到优化技术，从工具包到引擎，Omniverse 都有提供。
光看 Omniverse 所承载的 CG 技术，其实远不止这次发布会用到的“造假”效果，它从渲染、材质，到光影、照明（光追、路径追踪等）都有涉及，还会不断更新相关技术。
原本只是一纸论文的技术，可能不久后就被英伟达放到了 Omniverse 上，不少都是与 AI 相关的技术：
例如，缺损像素修补、插帧，已经被用到老照片和古早视频的修复中；还有基于 GAN 生成超分辨率图像、直接把 2D 照片渲染成 3D 场景，都已经能直接在平台上使用……
Omniverse 上的渲染技术，究竟达到一个什么样的水准？
据英伟达表示，平台现在可以实时实现电影级别的画质渲染。
以渲染中非常重要的光源模拟为例，我们都知道，真实世界的光源多种多样，我们看到的其实是各种光照下的景物。
传统的计算机渲染，至少需要将光源迭代 30 + 次，才能达到逼真到毛发的效果，即使用最先进的机器渲染，每一帧也基本都需要几十秒。
用上 Neural Radiance Cache 等技术后，结合 RTX GPU 硬件和 Omniverse 平台，光源渲染直接就能实时进行。
例如，这次 GTC 大会上对于主机的渲染，就采用了 Omniverse 平台的技术：
除此之外，包括 LOD 自动生成等技术也能用 AI 节约计算量，同时保证足够好的渲染效果。
不止是“以假乱真”的渲染效果，Omniverse 还能完成更多意想不到的 AI 技术。
英伟达利用数字人实时渲染技术，在 Omniverse 中就能构建更逼真的、更符合物理定律的人类模型。
例如，帮助车辆、自主机器、机器人等更好地识别，真实的人类是什么样的，从而更好地设计工厂（图中为数字人）：
这是英伟达在 Omniverse 上更新了另一项数字孪生技术（Issac Digital Twin），将机器人 AI 放到虚拟环境中训练完成后，可以直接部署到真实环境中。
目前，宝马已经用英伟达的数字孪生技术，对数字工厂的生产流程进行了优化，效率直接拉高 30%。
看看这个渲染的速度：
具体渲染效果来看，连光照和细节都能被模拟出来。
不止是宝马工厂，包括机器人仿真、自驾车仿真在内的一系列技术，也会用到 Omniverse 平台。
例如，自动驾驶和工厂的 AI 检测可能存在行人误判，将街头、公告张贴的人脸图片识别为行人，导致事故发生。将逼真的数字人和渲染等技术结合后，就能在仿真环境训练下模拟行人，让 AI 学会判断图片和真人的区别。
从效果到效率，英伟达都直接刷新了人们对“元宇宙”的认知。
重新定义「元宇宙」
号称“永远实时在线”的 Omniverse，是英伟达打造元宇宙的关键。
它不仅能跨平台支持所有用户的物理渲染、模拟和仿真，还能让创作者、审核者在任何地方，只通过软件应用就在一个共享的虚拟世界中进行合作。
毕竟，Omniverse 本身就构建于通用场景描述 (Universal Scene Description，简称 USD) 之上。
这是一种开源 3D 场景数据标准和文件格式，USD 之于 Omniverse 就相当于 HTML 之于互联网。
USD 由皮克斯开发，现在成了英伟达、皮克斯和苹果共同推广的行业标准。USD 注重非破坏性便捷和跨软件协作，是 x86、arm 平台以及各种软件都程能够统一到 Omniverse 平台上的基础。
目前，全球已经有 500 多家公司的专业人士上手使用了 Omniverse。这其中包括美国航天航空制造商洛克希德马丁公司（用它做山火模拟）、曾荣获艾美奖的《南方公园》工作室等知名企业。
国内央视的《飞向月球》太空纪录片，也同样有用到 Omniverse，尤其是里面的数字人：
从 Omniverse 硬件和软件的支持情况来看，英伟达这一次更新也真的是诚意满满。
“将数百万新用户带入元宇宙世界”，真的不是说说而已。
首先，Omniverse 这一次集成了 Blender 和 Adobe 来实现大规模扩展。
Blender 是全球领先的开源 3D 动画工具，他们将在 Blender 3.0 版本加入 USD 支持，使用户能够在 Blender 中直接访问 Omniverse 制作流程，这无疑会让创作者们的效率直线 up。
Adobe 就不用多介绍了，家喻户晓。
现在，他们正在和英伟达合作开发一个为 Omniverse 提供 Substance Material 支持的 Substance 3D 插件。
使用这个插件，可以让用户在 Omniverse 中直接调整 Substance 3D 中的素材。
这能为用户在改稿过程中，节省导出、重新上传的时间。
与此同时，英伟达还发布了一个人工智能 3D 建模扩展：GANverse3D–Image2Car。
它可以让 AI 进行 3D 建模变得更加容易。
只需通过一张汽车照片，GANverse3D 就能建立出一个虚拟的 3D 模型。
这无疑让 3D 画师们创建场景变得更轻松了。
其次，在硬件上，NVIDIA RTX 和 GeForce RTX 系列都支持 Omniverse。
这不，英伟达同时还发布了小巧、节能的 RTX A2000，它适用于各种标准和小型工作站，可以说是专为创作者的日常工作而设计。
英伟达放言称，A2000 将会成为数百万设计师进入元宇宙的门户。
去年 12 月发布公测版以来，已经有超过 5 万名个人创作者下载了 Omniverse。
而 Omniverse 的生态系统也在持续壮大，Adobe、Autodesk、Bentley Systems 等多家软件公司都已加入 Omniverse 的生态圈。
现在，Nvidia Omniverse 企业版的访问名额已经“开抢”了，华硕、BOXX Technologies、戴尔、惠普、联想、必恩威和超微等平台上都能使用。
不知道以后英伟达的发布会还能不能当真（手动狗头）。
反正老黄的假脸是一脸真诚～
One More Thing
回到 4 月那场发布会。我们在英伟达自曝纪录片中，隐约读出另一个事实，当时的老黄是真真假假，虚实交替的。
那么，哪一段是真？哪一段是假？
作为找茬八级团队，怎么能这么轻易就给人骗过去？于是，我们重新去回看了一遍 4 月份那场发布会。
果不其然，我们发现了一些不对劲的地方。（注意内搭衣服领口和皮衣）
这是老黄第一次在发布会上出现时候的样子。看上去问题不大是吧？OK，接着往下看：
这是刚刚那张图 4 分钟之后，老黄的样子。注意到什么不一样的地方了吗？
请注意，他身上忽然间变成了另外一件皮衣，里面穿的也从 Polo 衫变成了圆领 T 恤。
如果你再仔细一点看，你会发现他厨房有些物品的放置也变了。
还有个最直观的区别：老黄本人，还有他背后的厨房，怎么好像分辨率突然提上去了（不是我网络问题啊）？
高到脑门上的抬头纹都多了几条。
这还没完。
到发布会后半段，老黄穿着同一件皮衣，可是里面的衣服又换回了 Polo 衫 。
过了一会，他摇身一变，把皮衣和 Polo 衫全换了。
好家伙，你搁这玩排列组合呢？
真搞不懂，老黄来来回回在这换装，是图个啥。除非这是英伟达故意的。
于是，我们拿着放大镜去看了视频，终于注意到，这段老黄手上的动作，有明显的不自然。而且画面也是糊的。
懂了：）
总之，一段视频骗了全世界 3 个月，不得不说，黄老板真是又高又硬。
赝品是个好东西！