“3D 元宇宙技术”在汽车新零售领域的应用与实践

一 引言

随着不久前汽车之家新零售项目震撼发布，我们直击用户看车选车痛点首次提出ABC新体验模式，以元宇宙科技打造沉浸式交互服务，开放元宇宙能源空间站体验店，为用户打造更“有用”的体验。

其中：

A：是指一站式选车试车服务（All in one），用户通过全息对比看车以及实车对比试驾，让产品对比体验更直观省时；

B：是指专享时空客观评价（Belong to customers），意在给用户提供专属服务空间免打扰，同时可以看到汽车之家编辑专业、客观、公正的车辆评价，实现更省心的体验；

C：是指汽车之家能源空间站沉浸式元宇宙体验（Creative technology），通过全息技术，实现1:1看车、拆车、同框对比看车等功能，为用户带来深度产品解析及更真实的科技体验。

同时，依托汽车之家实际测试数据打造“最真实的虚拟用车体验”让用户更省力地体验车辆加速、转弯、刹车、碰撞等用车场景。

新零售震撼发布

上海能源空间站

二 业务诉求

汽车之家作为集“内容生态+工具服务+交易平台”于一体的一站式汽车生活服务提供商，为帮助用户更好的看车、买车、用车和换车决策，也一直在思考如何打破线上和线下的次元壁，思考如何把线下的用户和主机厂经销商连接起来，帮助用户更好的做看车、选车和买车决策。这就要求汽车之家需要有一个强大的线下看车、买车和购车的全流程平台能力。

我们首先思考的是如何能让用户在一个场地空间中可以深度体验和连接多款车，降低用户在物理空间中来回奔波4S店的痛苦，同时又不能是简单的页面信息检索，要给到用户接近真车的看车体验，还要能给到用户连真车都给不到的体验，如车体爆炸拆解改装，甚至是脑洞大开的破次元壁娱乐体验，如新能源汽车知识科普，所以业务的要求相当苛刻，要求：多款车、单个空间、真实、客观、超越想象等等。

新零售产品

三 技术方案

3.1 方案选择

结合上述这些业务的核心述求，我们调研了目前国内外一些汽车3D虚拟化呈现技术，最终综合硬件实现方案成熟度和效果要求，选择了使用全息膜+Unity3D引擎技术来给用户呈现一种沉浸式的裸眼3D看车体验。

3.2 全息技术选择

第一类是狭义全息技术，比如典型的全息照相技术，是利用光的干涉原理把每个点的光线的方向和强度数据转换为可以通过显影记录的干涉条纹，在镜片载体表面对光敏介质进行曝光处理，获得记录了光线全部信息的全息光栅，狭义全息技术并不常见，它起于全息照相技术，应用于全息光栅光波导技术中，全息照相实验的过程十分复杂，很难为普通消费者所用，目前国内外消费级的侠义全息产品还没有。

一类是借助近眼显示设备和3D实时渲染技术呈现的“感知全息”，比如Oculus和Hololens，这种目前国内外都有不错的消费级产品落地。

还有一类就是我们说的类全息平面投影，通过借助半透半反的膜层把平面显示器的内容反射到观察者眼中，营造出立体感。好处是对用户设备没有要求，比较适合展厅类效果呈现。

全息膜原理展示-1

全息膜原理展示-2

我们最终选择了类全息平面投影的技术方案，是目前国内做大型展览馆演出类活动比较常用的技术方案，在相对固定的空间中能给到用户接近真实的裸眼3D观看体验。

3.3 3D引擎选择

我们最终选择了目前国内主流的Unity3D引擎来实现，Unity引擎针对PC端的HDRP高清渲染管线支持正向和延迟渲染，并且使用基于物理的光照和材质。它将图形推送到高端硬件（像PC、XBox 和Playstation）以打造震撼的高清视觉效果的理想选择。其面向高逼真度的游戏、图形demo和建筑渲染、超写实效果，以及所需的最佳图形效果。同时针对高端图形处理时，它要比内置渲染器要快得多。同时我们在设计初期就考虑到了一套代码既支持HDRP管线也可以复用到URP管线，方便把我们的能力快速升级迁移到移动端设备中，包括手机、AR眼镜和VR眼镜中，同时我们借助动捕设备的辅助，可以轻松驱动移动端3D数字人，目前国内Unity技术社区成熟，有很多实用且经过验证的前人的成果可以直接借鉴使用。

3.4 技术难点

我们的最终呈现要依赖物理空间中全套软硬件设备都能完全协调一致才能实现，对硬件设备、3D程序、中控指令台、灯光控制等整体架构方案都存在很高的要求，要能保障用户在沉浸式的体验全息车辆的过程中不能有太多的技术干扰因素让用户觉得假。 同时整个能源空间站全息舱必须要考虑能支持大规模商用和快速可复制的要求，这就对软硬件的标准和技术实现的要求都非常高。

同时全息舱还需要作为一个沉浸式虚拟体验技术平台把能力对外输出到其他业务线，比如公司直播平台和网上车展联动等场景，促进公司内部技术的横向赋能。

3.5 全息舱架构

针对上诉这些技术难点，我们在技术落地的前期就必须思考周全，我们的总体思路总结起来就是九个字： 标准化、高效率、真体验。所以架构设计上我们会收拢技术标准，包括外部渠道接入全息舱的标准，全息体验评估标准，3D虚拟人和3D车辆模型标准等。我们的架构设计也会极度重视研发上线交付效率，期望接入新车的时间成本降到最低。同时所有的标准和高效都建立在体验真实的基础上，这就要求我们从多个方面去不断升级我们的全息体验，以保证用户时刻都能感受到"真"。

整体架构

3.6 统一标准化

我们整体设计了一套软硬件一体的架构部署方案，并打磨出一套最好的3D视觉呈现规范，包括用户距离全息膜的物理空间距离、屏幕清晰度、灯光亮度、音响环绕音和背景视频选择等等一系列的指标，所有这些都形成一整套的SOP规范，才能最终给用户营造呈现出现在的全息沉浸式观看效果。当一切都按照我们的标准来规范化建设的时候，大规模的商用才有可能实现。

硬件设备统一标准

所有全息舱内的硬件设备都必须统一标准，包括GPU游戏机主机配置、显示设备清晰度和尺寸、投影设备型号、全息膜厂商规格、灯光设备以及所有这些设备的中控指令API规范等等，经过8个月的持续打磨和摸索，来回和硬件供应商的沟通和撕扯，最终为来能达到全息舱的真实震撼的用户体验，我们输出了业内最严格的全套硬件设备接入规范标准，为后续能源空间站的大规模商用推广做好了硬件准备。

3D模型素材高标准

经过20+次的迭代打磨，我们才最终把全息舱内3D汽车模型标准规范统一起来，以最高规格的模型标准来管控从模型制作、美术验收到程序验收的所有环节， 平均每个3D汽车模型都拥有超过4000万个三角面，模型包体超过1.5G的大小，为最终全息舱内能给用户带来极致震撼的体验效果打好了基础。模型标准规范支持在4K、8K屏幕上显示媲美实车的高精度外观内饰模型，同时还满足移动端通用模型十倍的面数以达到更高的精度。对内饰皮革、木纹、塑料、屏幕等展示精度要求媲美实车。对车辆外观材质要求1:1真车实图对比，灯光效果要求更真实的氛围灯、体积光、光晕、流水灯、灯舞、等灯光效果。 从模型规范层面就能支撑起80%的车辆全息体验效果保障。

全息体验标准化

为了保障整体全息舱体验的统一，为大规模开舱可复制做好准备，我们对全息舱内软硬件环节都做了标准化取舍，如灯光在不同体验场景下的亮度、音响在不同场景下的音量大小、3D车模型在不同场景间的过场衔接效果等，全部的体验细节我们都做了统一处理。

外部信号接入标准化

全息舱作为一个平台， 会有很多的外部合作业务想要接入进来，和全息舱内的车辆和素材进行实时互动，考虑到技术实现的统一性和体验稳定性，我们在接入规范层面就要求外部业务想要接入全息舱需全部使用高清4K视频流信号的形式接入进来，为此我们研发了一套通用的多路视频信号采集和编解码系统，专门用于在全息主机中前置处理外部接入的视频信号，保障全息舱内体验到的外部素材的信号稳定性和清晰度。

3.6 高效率架构

整体的架构设计上，是我们通过接近8个月的时间逐步摸索出的一套符合业务需求同时也能极大提升研发效率的技术架构方案，核心包含三个方面： 指令分层设计、完全数据驱动设计和视频流I/O设计。

针对模块指令层设计，我们模仿网络通信协议设计，把指令编码层、通信层和UI展示层分离。从代码实现层面分层隔离，可以单独对各层进行优化，同时中控和指令间建立长连接，保障传输效率的高效，同时借助WebSocket协议的全双工通信机制可以有效的控制指令的执行状态和进度，用户可以随时中断执行中的指令，让用户真正的可以通过中控指令控制全息舱内的画面呈现内容。

指令通信层设计

 

基础架构分层

为了达到极致的研发交付效率，我们期望完全通过后台数据驱动的方式来低代码配置化交付，为此我们重新设计了U3D的代码架构，把全息舱拆解成9大模块30+个指令功能。

全息九大模块

我们把讲车模块拆分成多个指令，在模块层面具备进入和退出的独立逻辑，在指令层面有单独的生命周期控制，抽象出：Module->Command->Action三层数据架构，通过分层隔离，我们可以直接通过数据组装的方式拼接出一个完整的指令，所有指令都按照一个通用的时间线逻辑执行，用户可借助长连接通信和指令生命周期状态实时控制全息内容的展示效果和阶段。

讲车模块架构

针对单个指令，为了方便数据配置，我们单独上线了指令可视化编辑器，核心思路是模拟视频剪辑软件的设计思路，期望能在编辑器中通过简单的托拉拽的方式"剪辑"出一个功能完备的全息舱指令，可视化编辑器搭配后台数据配置功能，我们就具备了极高效的功能生成效率，从而可以保障单车交付效率。

Command指令架构 

通过指令模块拆分隔离、合理的数据结构设计，可视化指令编辑器、功能完全数据配置驱动等这一系列的优化设计，最终达成的效果是：全息单车交付效率从12天一辆车缩短为现在的3天一辆车。

指令可视化编辑器

我们设想把全息舱当成一个平台，从业务规划判断，这个平台需要同时具备两个特征：方便外部业务接入进来、方便接入到外部业务中。

核心是应对这两个业务场景：

入舱接入：支持外部业务和功能接入到全息舱中，比如虚拟数字人、实时采访信号、直播画面信号、外部画中画等场景，针对此类需求，我们根据上面标准化设计的视频采集接入流程，通过HDMI物理线路和实时视频流URL的方式采集接入，经过我们专门研发的视频转码合成程序合成后作为一路视频信号输出到全息大屏上。

出舱输出：可以输出到直播平台，经过直播平台推流到CDN节点，用户实时拉取直播信号数据，我们可以做到5秒左右的直播延迟。

视频流I/O架构

全息指令系统架构

3.6 虚拟数字人

为了在全息舱内把人车互动做到极致，我们联合给周杰伦演唱会中打造邓丽君真人形象的团队一起花费5个月的时间打造出汽车之家形象大使谷爱凌的3D数字人形象，并经过算法声纹采集和大量的汽车知识库大数据样本的机器学习训练，最终打磨出来一个有趣、逼真又有料的谷爱凌"数字真人",  我们在全息舱中可以零距离和谷爱凌进行各种有趣的互动。

数字人这快我们还在规划更多黑科技功能落地，比如智能表情和肢体驱动和控制、实时语音交付等，我们的终极目标是让数字人从外观形体到智能化程度都更像真人，给用户逼真且情感丰富的回馈。

3D数字人形象(商业权益所限脸部已做虚化处理)

 

四 业务亮点

4.1 3D全息真体验+真数据 

 

 

 

 

 

 

3D汽车模型极致逼真还原

炫酷车辆爆炸效果

在酷炫全息3D车辆展示效果基础上，我们还依托汽车之家对所拥有的海量垂直汽车行业用户数据的深度挖掘和学习，使得我们比用户自己更懂用户诉求，叠加汽车之家专业编辑和大V持续输出的专业评测数据，我们可以对每辆车都输出完整的中立客观的评测数据，给用户最真实的购车决策建议，做到使用户看到真车更看到真观点。

电机亮点介绍

悬架特性介绍 双车全面PK对比(图片中数据内容为测试数据，仅供参考) 

4.2 网红大咖全息互动直播

 

全息多路混流直播

为了让更多的用户能不用亲临能源空间站现场就可以体验我们的酷炫全息讲车，同时也为扩大新零售能源空间站的网络声量，吸引更多到店试驾用户流量，我们打磨了一套全新的直播技术体系--全息互动直播，我们把全息舱车辆叠加3D立体背景和多路真人主播视频信号混流成一个完整的全息沉浸式直播信号流，营造出一种人、车、场完全融合的极致逼真效果，使得我们可以在一场直播中任意切换多个环境和多款车进行详细车辆讲解，给用户带来前所未有的直播体验。

我们第一次全息互动直播就获得了接近4万用户的观看量，用户评论互动都非常积极，后续我们还会持续对全息直播体验进行深度优化和升级，期望给用户给行业都带来完全不一样的全新直播体验。

4.3 全息互动梦想剧场

借助能源空间站全息技术除了可以以裸眼3D的方式淋漓尽致的展现车辆细节，还可以以剧场的形式展现更多有趣有料的素材内容，比如能源科普视频节目、文化艺术普及推广节目以及数字人互动娱乐等等丰富有趣的节目形式，让用户体验到比电影院更加立体逼真的视觉效果。

宇宙起源科普节目

同时我们还通过融合MR互动技术和全息舱3D空间研发了更多的能让用户直接参与互动的有趣功能，包括真人与车合影互动、真人与谷爱凌数字人互动合影，以及真人语音和数字人对话等场景。

虚拟数字人和真人合影(商业权益所限数字人形象脸部已做虚化处理)

五 结语

大家可以去到上海能源空间站实地体验我们用3D元宇宙技术打造的全息舱，现在看到的效果还只是刚开始，我们的研发团队一直都在加班加点对产品功能和体验持续优化和升级，以两周一个迭代的版本速度推进，同时我们还规划了更多的有趣好玩的功能等待大家的发觉。

全息舱是我们主机厂产研团队历经10个月的时间从无到有一步步打磨出的一个全新的产品，我们期望能借助我们的技术真正的给业务方和客户方赋能，助力汽车之家迈向新的征程。