2019计算机图形学会议SIGGRAPH上都有哪些新探索？沉浸式科技前沿

SIGGRAPH是由ACM SIGGRAPH（美国计算机协会计算机图形专业组）组织的计算机图形学顶级年度会议，是全球影响最广、规模最大、最权威的计算机图形学会议。每年这个时候，全球顶尖的科技公司、研究人员和高等学府会齐聚一堂，分享各自的研究成果。而近几年的SIGGRAPH也着重强调了沉浸式体验的影响力，每年都会有VR Theater和Immersive Pavilion。NeXT SCENE作为产业研究媒体受邀参加了整个SIGGRAPH活动，快来跟随我们的研究员看一下沉浸式娱乐科技都有哪些最新前沿吧。

SIGGRAPH全称：Special Interest Group on Computer GRAPHics and Interactive Techniques

图片来自 ACM SIGGRAPH Media

Immersive @ SIGGRAPH 

15个VR剧场体验，29个沉浸式场馆体验

图片来自 Muso 

作为一个集科学、艺术和商业为一身的CG展示会与学术研讨会，SIGGRAPH给我的第一印象是"Geek"（极客）。对计算机图形学最感兴趣的人，无疑就是对科技的最新发展密切关注的电脑工程师和图形设计师了。在会场，各场学习讲座座无虚席。他们尊重知识，对新事物保持好奇心，并孜孜不倦的探究问题，这样的精神给了我很大的震撼。

“Geek Bar”这个温馨的角落一天不间断地为参会者充电

图片来自 ACM SIGGRAPH Media

除了能见到学术大牛以外，会场内会有很多“Real Geek”

图片来自 Muso Instagram

  展会最新资讯  

在SIGGAPH的每一天，你都能听到有关计算机图形学的重磅新闻。

  NVIDIA  

NVIDIA（英伟达）在这次研讨会上宣布现已有超过35个专业的创意应用程序支持旗下的RTX GPU的光线追踪技术（Raytracing），并有多家全球领先的软件制造商推出了采用RTX技术的应用程序。此款GPU不仅可以最大化地加速图形渲染任务，提高娱乐体验中的实时光线追踪性能，而且可以支持深度学习（Deep Learning）和高级人工智能技术的运用。

支持RTX的程序包括：Adobe Substance Designer, Autodesk Flame, Blender Cycles, Daz 3D Studios, Foundry Modo, Dimension 5 D5 Fusion, and Luxion Keyshot 等等

图片来自 作者Lia

在NVIDIA的展会现场，个性化的“登月之旅”体验项目（Moon Landing）吸引了众人的眼球。正值阿波罗11号登月50周年，NVIDIA运用RTX GPU重新创造了一次别开生面的实时登月体验。通过摄像头捕捉姿态后，体验者会与经过3D渲染后的宇航员角色相匹配，通过实时光线追踪渲染各个细节。之后将其与开发式协作平台Omniverse相结合，即时生成逼真的3D影像。

让玩家重温历史时刻

图片来自 Nvidia

这个技术的特别之处在于，屏幕上的每个像素都是通过追踪光束进入相机后实时生成的。在这个过程中，场景中的人物变化会引发光线的交互作用，智能化调节画面并生成新影像。对创作者来说，这项技术可以让他们即时而准确地看到光线的反射、 阴影的柔和度、全局照明以及其他视觉效果，从而更好的调整设计方案。而以往，特效渲染人员要花上好多天时间才能达到同样的逼真度。

说到NVIDIA，不能不提它发布的AI绘画的网页应用GauGAN。这款取名于画家高更的应用，在大会评选中获得了本次Siggraph的最佳实时现场演示奖(Real-Time Live! Best in Show)以及观众选择奖(Audience Choice awards)。无论是职业电脑画师还是业余的绘画爱好者，都可以利用现场的演示品在几分钟内创作出高水平的绘画图像。

笔者初次尝试，感觉AI还是跟我不搭

图片来自 Lia

  Khronos Group 

在增强现实（AR）和虚拟现实（VR）方面， Khronos Group发布了OpenXR 1.0规范，公开免版权费的开源技术标准。OpenXR工作组旨在帮助AR/VR的开发者创建跨平台混合现实（XR）体验，免去在不同的软件开发工具包中转换的麻烦。

  PIXAR  

自从2015年皮克斯宣布将开源动画软件Universal Scene Description（USD）之后，它逐渐成为动画和视觉特效行业内的标准。这款软件可以帮助创作者完整地将动画制作中的各项应用组装到其他应用中，有效减少数据烘培。因此不同创意人员可以在同一设计场景中协同工作，而无需等待对方完成。除了The Foundry、Unity、Epic Games (Unreal Engine)、Pixar、Animal Logic之外，Autodesk和Nvidia也均已使用和支持USD。

说到这里，不得不提一下皮克斯的Renderman软件。最新上映的《玩具总动员4》中就应用到了这款强大的渲染引擎。

特别展厅中等人高的塑像

图片来自 Lia

如果你看过电影的话，你一定记得胡迪和牧羊女在古董店里面对琳琅满目的吊灯场景。这个场景用了大概一万七千多个灯泡，全部都是在Renderman的支持下呈现的！

除了上述展位之外，笔者还发现展会现场有不少动作捕捉公司的展台：例如带来现场体操表演的Optitrack和Qualisys，展示的无需外部相机的连体衣的Rokoko，甚至是笔者偶尔攀谈的来自中国的Noitom等。

吸引人眼球的Optitrack的动作捕捉展示

图片来自 ACM SIGGRAPH Media

Noitom展台

图片来自 Lia

我们可以看到动捕技术的商业化之路越来越成熟，在5G技术推广的助推下，以后也许人人都可以自由创作。

 体验中心分享  

在SIGGRAPH会场中，笔者最喜欢的地方非体验中心（Experience Hall）莫属了。这里是整个SIGGRAPH创作者和科研人员的大舞台，也是艺术与科技完美结合的地方。

Experience Hall

图片来自 ACM SIGGRAPH Media

除了人流如织的VR剧场 (VR Theatre)之外，体验中心还包含艺术展厅 (Art Gallery)、新兴技术展厅 (Emerging Technologies)，体验展厅(Experience Presentation)、沉浸乐园 (immersive pavilion) 以及工作室 (studio)。

 艺术展厅 展位推荐 

今年的艺术展旨在探索人们如何面对充满不确定性的未来。参展的作品不仅展现了我们在当下所取得的艺术成就，更提出了我们在全球化的社会中所发现的问题和可能的应对思路。

不断增长的可能性：艺术与设计猜想的未来

图片来自 Lia

在这里，艺术家们通过混合不同的艺术形式和数码制作手段，结合科学、建筑、设计，以及虚拟和增强平台来提出对社会问题的思考。

RUSHI：如是

色彩与中国玄学山水的结合

图片来自 ACM SIGGRAPH Media

来自中国香港的John Wong受到了中国的风水理论和生辰八字算命方法的启发，创作了“如是”，一个算法交互式装置艺术。这个充满了艺术美感的体验，背后却是一些看似违而又奇妙融合的元素：大数据与人工智能、命运与迷信。参与者只需要输入他们的出生日期，屏幕就会显示不同受众的可视化数据，最终通过颜色的变化表现出来。

作者提到，数据科学家和算命先生在某种程度上都是将不确定的世界量化成可以理解的数字或者答案。这么说来，大数据和人工智能是否也是一种新的迷信呢？

Robotic Voice Activated Word Kicking Machine

这个真正的“文字游戏”让笔者玩的不亦乐乎。

图片来自 Lia

参与者对着话筒说的任何话会被即时转化成文字。如果文字若掉入右下角的听筒中，会被念出来。若文字不幸碰到了右上角的脚，则会被“踢”回来。这件有趣的装置探讨了虚拟与现实间的交互，让我看到了声音可视化的另一种有趣的应用。如果周星驰在《九品芝麻官》里对着大海练口才的场景中运用这件作品，场景会更壮观呢！

Noise Aquarium

有关海洋的艺术作品总给人一种温暖而安心的感觉。这个看似普通的虚拟现实体验其实并不简单。很少有人知道，人为产生的水下噪音对海洋生物有着毁灭性的影响。不仅像鲸鱼和海豚这类靠声音交流的高级生物深受人类噪音之害，大量的浮游生物的生存空间也被日益威胁着。

图片来自 Lia

这个充满浮游生物的交互装置，利用3D扫描技术监测微生物在噪音影响下的生存状态，结合数据分析后，通过动画的方式向体验者呈现壮丽的景象。肉眼看不到的生命，也是值得被尊重的生命，何况这些生命和海洋生态系统息息相关。事实上，这不仅仅是浮游生物的问题，更是我们人类所面临的问题。

  新兴技术展厅 展位推荐  

360-Degree Transparent Holographic Screen Display

图片来自 Lia

出自索尼日本设计研究中心的这款360度透明的全息屏幕给参会者提供了一种很独特的“存在性”现实。实际上，在透明圆柱的背后是2D影像和高速摄像头传感技术的结合。

Arque: Artificial Biomimicry-Inspired Tail for Extending Innate Body Functions

人类要是有了尾巴会怎样？你知道长了尾巴的感觉嘛？这款同样出自于日本的研究作品在现场吸引了不少眼球。

人工仿生机械尾巴

图片来自 Lia

鉴于尾巴对大多数脊椎动物的重要性，设计师们提出了一种以人造仿生学为基础制作的拟人尾巴，让体验者可以通过改变尾巴而影响身体冲力，加强对触觉的反馈与应用。

Matching Visual Acuity and Prescription: Towards AR for Humans

新型穿戴式增强现实设备

图片来自 Lia

对于广大眼镜佩戴者而言，戴上额外的眼镜既麻烦又破坏体验感。来自NVIDIA研究组的研究人员设计了两款新型的增强现实设备：一款是将度数矫正整合到5毫米厚的图像合成器中，这样无需多余的镜片就能看到增强现实影像；一款是通过调整分辨率和焦点深度来适应用户的视野。

  体验展厅 展位推荐 

OZ Immersive

OZ游戏系统

图片来自 Lia

这家来自法国的公司可谓是我本次的意外收获。高水准的虚拟现实游戏影像，有趣的游戏设计和社交元素，身临其境般的体验，OZ沉浸式游戏系统让人眼前一亮。

游戏原理示意图

图片来自Twitter @BlackLight

Mary and the Monster

玛丽和怪物（Mary and the Monster）是一场戏剧与混合现实的完美结合。

图片来自 Parallux

科幻小说之母玛丽雪莱本人的生活和她创作的故事《弗兰肯斯坦》一样精彩。这款增强现实/虚拟现实体验，通过年轻玛丽的视角将读者带回了怪物的身边。其独特之处在于它将增强/虚拟现实的优势和舞台剧的观看体验成功地结合在了一起，让观众可以更加沉浸于主人公独特的内心世界，并更加自由地选择不同视角来体会怪物诞生的心路历程。

Wolves in the Walls: Chapter 2, It's All Over.

图片来自 ACM SIGGRAPH Blog

曾在圣丹斯和翠贝卡两大电影节首映过，改编自Neil Gaiman同名小说“墙壁里的狼”的虚拟现实体验作品，也来到了本次SIGGRAPH。这不仅仅是一个童话故事，更是一次无与伦比的心灵之旅。

一个人玩耍的童年，和虚拟朋友的互动，对黑暗与未知的恐惧，急需家人信任的心情，这一切都完美的融入到这场惊心动魄的VR冒险之中。在这个体验里，我不再只是一个旁观者，更是一场故事的参与者。我目睹了天马行空的狼群向我袭来；我也在黑暗里和那个小女孩一起涂鸦、交谈；我在一个鬼影幢幢的大房子里找寻真相；最后戛然而止的不仅是女孩一家人的命运，更是我纠葛的心。

  VR剧场 作品推荐 

VR剧场内部

图片来自 ictus_audio instagram

小备注：整个VR剧场的3D声学系统是由位于温哥华的Ictus Audio负责设计实施的，值得骄傲的是，Ictus Audio的两位创始人Yao Wang和Sherry Li都是华人，也是NSR研究团队主管 Muso老师的朋友。

KaiJu Confidential

图片来自 Lia

这个仅五分钟的VR电影无疑是本次VR展映的惊喜。作为特摄片爱好者，我第一次发现原来在怪物的视角看被摧毁的城镇是件如此有趣的事情。

A Kite's Tale

图片来自 ACM SIGGRAPH Media

说起VR电影，不得不提迪士尼动画的第二部VR短片“风筝”。看着极具中国风的龙风筝起起伏伏，我不禁回忆起了小时候放风筝的日子。这里的风筝，有人性有活力，无需任何言语。其实简单的东西，往往最能触动人心了。

  电脑动画节 作品推荐  

这场在电子剧场（Electronic Theatre）举行的电脑动画节可谓声势浩大。在将近三小时的时间里，几十个动画佳作轮番上演：有的画面质量达到了业界的最高水准，有的故事内容发人深省，有的作为计算机图形技术发展的范例展示。不得不说Siggraph的动画可谓业界上乘。

Stuffed

图片来自 ACM SIGGRAPH Media

这个获得最佳学生作品奖项的动画让人意犹未尽。在众多CG加成的作品中，Stuffed不仅高水准的完成了定格动画的制作，更是用心讲了一个引人深思的故事。尽管动画没有台词，看完后我能感受到作者想要表达的那种失落，焦虑和无助。能够传递情感和心情的故事，让人印象深刻。

Passage

图片来自 ACM SIGGRAPH Media

来自塞尔维亚的动画制作者则向观众展示了什么是艺术与人文。这个人物均由几何构成，没有过多言语的故事让人深受震撼。

战争与暴力，文明与家族，命运与轮回，我想不同的观众会有不同的体会。看到那些拿枪指着村民的战争机器，我不禁想起了那些令人不寒而栗的屈辱的历史。更可怕的是，这些历史或许正在不断轮回，或许正在世界的某个角落上演。

鉴于篇幅限制，笔者只选择了一些最有趣的见闻和大家分享。今年的SIGGRAPH展会展示了最前沿的电脑绘图技术与艺术结合的更多可能性，而这些可能性也为沉浸式体验的发展提供了新的空间。

我们看到了沉浸式体验与游戏相结合的尝试，也看到了沉浸式体验不再只限于视觉，而更多地涉及触觉、温度的热感应甚至痛觉。正是有了这些电脑工程师、绘图设计师在技术上的不断探究和创新，才让更多动人的作品从一个想法变为可能。未来沉浸式体验会如何发展，让我们拭目以待。

 

栗亚

本期报道作者 

脑海中的世界，远比想象的精彩。

编辑：怪物