2022 年 7 月 20 日 14:00,阿里云联合平行云推出的云 XR 平台新品发布会正式启动,阿里云互联网行业解决方案架构师贾朝辉带来了题为《云 XR 平台支持彼真科技呈现国风科幻虚拟演唱会》的分享。
阿里云 XR 平台提供算力调度、3D 实时渲染、音视频编码与推流、应用发布与用户管理等服务。开发者可将应用发布托管到云 XR 平台,用户可以使用 AR/VR/MR 等多终端加入到云 XR 平台与 3D 应用交互并体验。以下是他的演讲内容整理,供大家阅览:
虚拟演唱会:未来已来
演唱会在漫长的历史长河中曾经是最为重要的一种娱乐活动,表演者和观看者齐聚一堂,共同体验热烈的现场氛围和美妙的音乐节奏。但在后疫情时代,传统演唱会正在面临诸多挑战。
首先,疫情影响了聚集,使得演唱会召开频率大幅度降低;其次,传统演唱会需要进行大量现场准备工作,消耗众多人力、物力、财力;再次,受到地理位置集中度的影响,入场人数受限;最后,一张演唱会门票对观看者而言可能是一笔不菲的支出。
于是作为 web 3.0 前哨站的虚拟演唱会应运而生。
在技术的助力下,虚拟演唱会脱离了传统演唱会的诸多限制,吸引了众多次时代年轻人的关注。其舞台效果酷炫,不受物理条件限制,只受想象力的限制。在各种 XR 外设的配合下,能够提供身临其境的体验,且不再受到物理场地的限制,理论上可以支撑无上限的参与人数,也能将观看者的体验成本降到最低。
彼真科技业务需求
上海彼真科技是提供 3D 实时互动虚拟空间的创建、发布和交易的平台服务商。旗下“彼方城”是基于云渲染、3D 引擎、实时音视频、动作捕捉和轻量化 web 等技术所实现的多人在线 3D 实时交互空间。
新武林是由彼真科技打造的全球首个完全基于云原生的 3D 实时互动虚拟世界。新武林系列中的公测专场《故障四方》捕获众多目光,它是全球首个采用 RT3D 云渲染技术进行呈现的虚拟音乐世界。
过往举办虚拟演唱会时,彼真科技需要解决诸多难点:
① 提前准备 IT 资源,需要彼真的艺术家们和 IT 设备厂商、机房等服务商取得联系,提前预定资源并寻找专业的 IT 运维团队进行活动保障。活动结束后需要再次和服务商协调释放资源,整个过程费时、费力、费钱。
② 需要动手解决软件层的适配问题。演唱者、参与者、观看者的设备千差万别,有的使用专业 VR 设备,有的使用手机,有的使用电脑,要保证这些设备能够支持演唱会的正常播放,适配工作非常繁琐,且需要专业的软件团队保障。
彼真科技一直希望能够从繁重的 IT 工作中脱离出来,专注于虚拟演唱会本身,而阿里云的出现将彼真从困境中解脱出来。举办新武林《故障四方》虚拟演唱会之前,彼真科技对阿里云提出了三个诉求:
第一,实时渲染表演端和观看端,保持最低的时延,需要达到实时视频会议的效果。
第二,资源弹性。在演唱会开始前一小时申请云资源,结束时释放云资源。
第三,支持多端,可支持观众在 VR 设备、手机、电脑上观看,可实现打开浏览器直接观看。
面对彼真科技提出的三个挑战性需求,阿里云强大的基础设施发挥了巨大作用。阿里云提供了强大的云端算力、超低延迟的网络,满足彼真对于资源弹性和实时渲染的需求。
软件方面的适配由阿里云的合作伙伴平行云提供支持,平行云提供了一套基于 GPU 云化、图形容器、音视频实时编解码、网络传输优化等技术的云产品,实现从云到端全链路的标准化,解决了软件层问题。
阿里云虚拟演唱会解决方案
最终,阿里云提供了完美的解决方案。由阿里云提供公共云稳定的 IaaS 资源,联合平行云提供开箱即用的 PaaS 平台,使彼真科技无需关注底层资源,只需专注于虚拟直播平台的打造。
在 IaaS 层,阿里云提供了自研神龙架构的 GPU 云服务器,具备 2400 万网络转发能力和超低网络延迟,满足彼真对于实时渲染的要求。该服务器搭载英伟达 A10 GPU 处理器,提供超高性能渲染能力,支持硬件实时光线追踪 AIGC 优化和 DLSS(深度学习超级采样)技术。同时,阿里云的 IaaS 资源具备秒级弹性能力,满足了彼真对于资源弹性的需求。
在 PaaS 层,阿里云联手平行云打造云 XR 平台,一个平台即可完成算力调度、渲染、推流、编码和用户管理等工作。编解码方面采用阿里云自研流媒体技术,极致压缩媒体流,传输更顺畅。专为演唱会场景提供的高保真音质服务,保证从表演端到观看端的声音效果不失真。云端渲染同时支持多款主流渲染引擎,实时传输到各类终端,支持 VR 设备、手机、电脑和浏览器。
基于阿里云打造的虚拟直播平台使彼真只需专注于内容的制作和场景效果的实现,无需关心底层技术细节。资源按量付费,新武林直接托管在阿里云 XR 平台,无需再进行大量的终端适配工作。支持动作、灯光捕捉等演唱会非标设备的接入,让演唱会元素更丰富。彼真将更多精力投入虚拟空间的打造,基于虚拟直播平台,用最低成本打造最为酷炫的虚拟直播间。使用 XR 平台适配各类终端设备,包括手机端、 PC 端 XR 设备浏览器。阿里云提供了 IaaS 层加 PaaS 层良好的封装,使得彼真在云上的使用非常方便,能够体验开箱即用、用完即关的效果。
《新武林:故障四方》活动效果
2022 年 5 月 26 日,彼真科技新武林《故障四方》虚拟演唱会顺利举行。演唱会开始前,话题和订阅人数双双突破百万,活动当天全平台观看人数突破 30 万,所有观看者无需下载,可一键进入演唱会现场。参与者可自定义形象风格,打造自己专属的虚拟时尚,为演唱者和参与者提供了多维度的实时交互体验。
在整个演唱会举办期间,由阿里云提供云计算技术支持,云端渲染实时下发,彼真无需储备资源。演唱会开始前一键拉起资源,彼真无需关注适配,阿里云 XR 平台负责适配所有终端。整个虚拟演唱会从准备阶段到活动完成,彼真只需花费最短的时间准备,在资源侧投入最小的精力以及极低的成本。
新武林《故障四方》演唱会的举办也是对于阿里云和平行云产品的一次试炼。它考验了阿里云资源的弹性、云端算力的稳定性、网络能力,同时也考验了平行云产品的易用性和终端适配度。最终结果表明,阿里云和平行云联合打造的解决方案以优异的成绩通过了此次考验。
总结
阿里云的 XR 解决方案还在不断发展完善之中。在 IaaS 层,除阿里云公共云 region 之外,还可支持本地 region 及云盒。在此之上,阿里云能够提供弹性资源、超强算力和超低延迟的网络能力。PaaS 也在不断发展完善中,提供了渲染、编码、推流等基础能力,同时能够提供更简单易用的产品,不断充实支持的渲染引擎和终端设备。
除面向虚拟演唱会之外,XR 解决方案还可用于教育、设计展示、会议协作、购物零售等多个领域。教育领域可面向课外、科学、职业、高校等场景,设计展示领域可面向工业、创意等场景,会议协作领域可面向 3D 会议和协作场景,购物零售领域可面向虚拟 shopping mall、虚拟展厅等场景,以上就是我今天的分享。
拓展延伸
云 XR 平台落地的过程中,阿里云主要提供超强云端算力,及自研流媒体编码技术,平台层则由平行云对渲染、编码与推流等服务进行高效封装,集成了阿里云底层 IaaS 能力,支持 NVIDIA CloudXR 平台。
点击这里,观看本次发布会精彩回放。