【LarkDay】UE开发者沙龙活动回顾

1、相关咨询

「Paraverse平行云」邀您线上参与LarkDay UE 开发者沙龙
UE超硬核实战攻略｜LarkDay UE开发者沙龙回顾（文末有福利）
LarkDay UE 开发者沙龙问卷报告与获奖名单

2、录播链接

【Bilibili】常胜将军王胖胖
【Bilibili】Paraverse平行云

3、演讲内容

大家好，我是Paraverse平行云公司的研发工程师徐志斌，非常高兴今天能在开发者沙龙中与大家分享关于“实时云渲染”相关的技术和解决方案内容。希望通过我的分享，大家可以掌握通过Web浏览器访问UE的应用能力。
在下面的分享中，首先，我会从实时云渲染解决方案LarkXR的系统架构入手，为大家简要介绍实时云渲染的技术路线；第二，我会详细讲解LarkXR根据多年的行业实践沉淀的多场景功能组件，最后我会与大家分享LarkXR与UE的合作以及像素流送插件的产品化、商业化的实践，并展示LarkXR的多样丰富的交付方式及交付体验。
在深入探讨LarkXR的系统架构之前，我想先与大家讨论一个行业痛点：在3D/XR应用开发领域，传统终端在渲染高帧率的三维应用画面时面临巨大挑战。这主要是因为高帧率的渲染不仅对处理器有较高要求，还需要强大的图形处理单元（GPU）来支持。而许多传统终端，尤其是早期或低端的设备，往往在硬件配置上存在局限，导致它们难以流畅地运行这些高要求的3D/XR应用。
更进一步说，随着技术的迅速进步，现代的3D/XR应用开始集成更加复杂的物理效果、真实的光线追踪、以及更高级的材质和纹理，这无疑进一步增加了渲染的复杂性。而对于传统终端来说，要完美展现这些效果，不仅需要更强大的算力，还需要更高的内存带宽和更快的数据读取速度。此外，不只是硬件层面的问题，软件优化也至关重要。在没有经过充分优化的应用中，即使是顶级的硬件也可能无法达到理想的性能。因此，开发者需要不断对代码进行优化，以确保3D/XR应用在各种终端上都能获得良好的表现。

面对这些挑战，许多业内人士和企业开始寻求新的技术解决方案，如云渲染、边缘计算等，来帮助传统终端更好地应对3D/XR应用的高渲染要求，确保用户能够得到流畅且沉浸式的体验。
为此，我们提出了一种基于云端计算的渲染的解决方案。这种解决方案充分利用了云计算的强大算力，将渲染任务从传统终端转移到云端，进而大幅度降低了对终端设备的硬件要求。
在这种模式下，用户的设备不再负责重型的图形渲染工作，而只是作为一个显示和输入的接口。当用户在其设备上启动一个3D/XR应用时，所有的计算和渲染工作都会在云端的服务器上完成。这些服务器配备了顶级的处理器和高性能的GPU，可以轻松处理高度复杂的渲染任务。完成渲染后，云端服务器将画面实时地传输回用户的设备上，为用户提供近乎原生的体验。
实时云渲染技术路线本身具备以下几大优势：

1. 弹性扩展：根据用户的需求，我们可以迅速增加或减少云端的计算资源，确保每个用户都能获得最佳的体验，而无需担心资源瓶颈或过度开销。
2. 高度优化的传输协议：为了保证渲染的画面能够实时、无延迟地传输到用户设备，我们采用了高度优化的传输协议，有效减少了数据的传输延迟和丢包率。
3. 跨平台支持：无论用户使用的是哪种操作系统或设备，只要可以连接到互联网，都可以轻松享受到我们云端渲染带来的高品质体验。
4. 安全性：所有的计算和数据处理都在云端完成，用户的私人数据不会留存在本地，大大降低了数据泄露的风险。

经过多年的研发和实践，Paraverse平行云采用了实时云渲染技术路线，并成功打造了企业级的实时云渲染解决方案——LarkXR。这一方案在业界实现了创新性的突破，并展现出以下技术优势：

1. 视觉计算与GPU池化：我们实现了GPU的高效利用，拦截底层的图形接口如DX和OpenGL，使多个应用能够共享GPU资源。我们还确保了输入输出设备的进程级别隔离，支持一台机器配备多张显卡，每张显卡可以同时为多个应用渲染。更进一步，我们实现了虚拟GPU与物理GPU之间的高效调度，使得资源使用达到细粒度，从而提高了GPU的使用效率。

2. 网络传输优化：我们的系统可以实时估算网络状态、图像动态以及帧率，结合我们的专利Qoe感知拥塞控制器和自主研发的拥塞控制算法，动态调整目标码率，确保数据高效编码并在数据链路层封装。整体考虑网络状态进行动态调整，以应对网络延迟、数据丢包、网络抖动或带宽变化等问题，确保最佳用户体验。

3. 跨终端兼容性：我们封装了LarkXR以及其他如webrtc、open VR、open XR等协议，确保音视频解码可以在客户端进行，并将操作指令迅速发送到云端执行。我们的客户端SDK支持多种平台，如Web、Android、Unity、Windows、iOS等，并与PICO等伙伴合作，兼容大部分主流终端。无论是XR、SR、VR、AR还是MR等三维应用，都能在我们的平台上得到兼容和支持。

4. Cloud XR PaaS平台：我们提供功能全面、开箱即用的Cloud XR PaaS平台。它支持包括边缘云部署、动态节点配置以及大规模商业化集群部署在内的多种部署方式。
   

在通用型PaaS平台上，LarkXR进一步嵌入了适合多种行业和场景的功能组件，其中包括数据通道、音频通道、视频通道、直播推流、互动协同模式、预启动模式及智能语音等特性。与本次UE紧密相关的主要是数据通道、音频视频通道以及直播推流、互动模式这四个组件。接下来，我们将对这些核心组件进行简洁的介绍：

1. 数据通道：图示为绿色双向箭头，代表在我们云端与客户端之间的虚拟通道，为三维应用建立快速通道。在这里，我们云端处理高帧率、高清晰度的三维应用，客户端处理业务流程及其他渲染。

2. 音频和视频通道：音频、视频通道它们主要实现客户端与云端三维应用间的音视频数据传输，打通底层音视频驱动层，从而降低用户端计算压力，实现时间空间无界限交互。

3. 直播推流：专为直播场景设计的组件，简化了整体直播接入流程，仅需少量设置即可使用，极大提升了用户的直播体验。

4. 互动模式：用户可以在Lark SR客户端选择互动模式，在三维应用中作为演示者或观看者。演示者有更大权限，其他观看者可以实时同步应用操作。此模式非常适合教育场景。

UE引擎主要适用于高精度、复杂场景的三维应用，要求高性能硬件和强大的GPU算力。为了解决UE开发的挑战，Paraverse平行云LarkXR集成像素流送技术可以帮助UE开发者实现低代码或无需改动的上云操作。除了保留UE引擎的强大开发能力，还能确保画面的精美，同时让终端轻量化、使用更便捷、部署更简单。
关于LarkXR部署的整体流程也非常简单，易上手。首先，SR客户端请求启动应用接口分配渲染节点，再与信令服务器进行连接握手，随后通过信令服务器请求启动像素流送插件和UE三维应用，最终将数据画面流推送到LarkXR客户端。在此过程中，像素流送主要负责串流工作，其他功能则由LarkXR补充。
LarkXR解决方案提供了目前业界最多样，灵活的交付方式：实时云渲染软件产品授权LarkXR、实时云渲染云托管平台LarkPub、以及实时云渲染专用GPU一体机LarkNest。其中，Lark Nest一体机结合了软件和硬件，并采用第三代GPU云化技术，有效提高了GPU的使用率。除了这些交付方式，我们还有众多合作伙伴和客户案例，如数字孪生企业、数字冰雹、云鹭科技的云游戏等，合作伙伴已超过数千家。众多案例和实战经验证明，LarkXR在各种场景下都经受住了考验，能够满足各种复杂的企业级需求。