元宇宙主角|虚拟数字人的浪潮

元宇宙大热,“虚拟数字人”先行,作为主角破圈而来。(虚拟数字人,是指存在于数字世界,通过动作捕捉、三维建模、语音合成等技术高度还原真实人类,再借助AR/MR/VR等终端呈现出来的立体“人”。)

在AI(人工智能)、VR(虚拟现实)等新技术浪潮的带动下,以虚拟主播、虚拟歌手、虚拟员工等为代表的数字人开始进入大众的视野,并以多元的姿态在影视、游戏、传媒、文旅、金融等众多领域大放光彩。随着虚拟数字人普及度以及被接受度的提升,虚拟市场不断扩张。

虚拟数字人发展历程

虚拟数字人的发展与其制作技术的进步密不可分。自1982年世界上第一位虚拟歌姬——林明美诞生以来,虚拟数字人行业经历了萌芽、探索、初级和成长四个阶段。随着技术的逐年突破,虚拟数字人的制作得到有效简化,从最早的手工绘制发展到了现在的 CG、人工智能合成。


虚拟数字人市场逐步进入成熟期,智能驱动的数字人开始崭露头角。

AI合成主播新小萌、新小浩

“2018年,新华社与搜狗联合发布的“AI合成主播”可在用户输入新闻文本后,在屏幕展现虚拟数字人的形象并进行新闻播报,且唇形动作能与播报声音实时同步。

数字员工“小浦”

2019 年,浦发银行和百度共同发布的数字员工“小浦”,有逼真的外形、表情、肢体动作;可感知环境并做出实时反应,能用逼真的语气、语调进行多轮自然对话,可通过移动设备为用户提供“面对面”的银行业务服务,完成用户的指令。

AI 3D主播

至2020年,全球首位人工智能驱动的3D版AI合成主播正式亮相。她在立体感、灵活度、可塑性、交互能力和应用空间等方面,较前一代AI合成主播(2D形象)有了大幅跃升。

……”

由此我们可以看到,虚拟数字人正朝着智能化、便捷化、精细化、多样化发展,现阶段虚拟人更多的是与人工智能产生关联。在“虚拟人”流行之前,其实行业内早已出现了“数字人”的概念。最早的“虚拟人”,或者说“数字人”的诞生,其实更多是为了适应影视娱乐需求,基于3D技术和CG动画而产生的。

为了更好地适应市场,虚拟数字人各方面的性能逐渐被优化和提升,开始从外观的数字化深入到行为的交互化和思想的智能化。“人”是虚拟数字人最核心的因素,高度拟人化为用户带来的亲切感、关怀感与沉浸感是多数消费者的核心使用动力。能否提供足够自然逼真的相处体验,将成为虚拟数字人在各个场景中取代真人、完成语音交互方式升级的重要标准。

在实际应用中,虚拟数字人的优势主要以下几点:

第一,虚拟数字人可以模拟真实人体的反应,可以应用在临床试验、安全测试等特殊领域,无需真人即可得到接近真实的结果,且可重复多次使用;

第二,虚拟数字人的外形、性格、人设都能被完美打造,充分满足沟通对象的心理需求,这在娱乐行业尤为重要;

第三,虚拟数字人具备规模化和可复制化能力,且不受时间、地点的限制,可以根据需要随时出现在指定的地点,且不会疲倦、无需休息,具有很高的商业价值;

第四,可以针对不同行业的各种应用场景,定制虚拟数字人的外形、技能,甚至出现在一些恶劣环境之中,令其具备广泛的应用范围。


那么,打造一个虚拟数字人的背后需要哪些技术来支撑呢?虚拟数字人的制作过程涉及建模、驱动以及渲染三大关键技术。

虚拟数字人技术架构:

▲建模

早期的人物建模技术以结构光扫描重建为主,这是一种静态建模的方式。结构光扫描重建可以实现0.1毫米级的扫描重建精度,但其扫描时间长,一般在1秒以上,甚至达到分钟级,对于人体这类运动目标在友好度和适应性方面都差强人意。因此其更多应用于工业生产、检测等领域。

嘉兴超维VR3D Body Capture相机阵列

近年来,拍照式相机阵列扫描重建得到飞速发展,目前可实现毫秒级高速拍照扫描,这满足了数字人扫描重建的需求,成为当前人物建模的主流方式,并成功应用于游戏、电影、传媒等行业。

然而与静态重建技术相比,动态光场重建是目前世界上最新的深度扫描技术。此技术不仅可以重建人物的几何模型,还能一次性获取动态的人物模型数据并直接采集三维世界的光线,高品质地重现不同视角下观看人体的光影效果,然后实时渲染出真实的动态表演者模型。

▲驱动

从2D虚拟数字人发展到3D虚拟数字人,背后有着强大的技术所支撑。目前绝大部分“能动”的3D数字人,主要是靠真人驱动。

动作数据采集

将捕捉采集的动作迁移至数字人是目前3D数字人动作生成的主要方式,其核心技术是动作捕捉。动作捕捉技术按照实现方式的不同,可分为光学式、惯性式、电磁式及基于计算机视觉的动作捕捉等。现阶段,光学式和惯性式动作捕捉占据主导地位,基于计算机视觉的动作捕捉成为聚焦热点。光学动作捕捉可通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。

▲渲染

当通过不同的设备记录下动作方案之后,还需通过渲染引擎对人物毛发、衣物等细节进行还原,目前PBR(Physically Based Rendering,基于物理的渲染技术)渲染技术以及重光照新型渲染技术的使用较为普遍,该类技术可以使数字人的皮肤纹理变得更加真实。

PBR 是基于真实物理世界的成像规律模拟的一类渲染技术的集合,它的关键在于微表面模型和能量守恒的计算,更真实地反映了模型表面反射光线和折射光线的强弱,可以使渲染效果突破塑料感。

重光照技术通过采集模拟多种光照条件的图像数据,测算数字人表面光照反射的特性,并合成出数字人模型在新的光照下的渲染结果,使计算机中的虚拟数字人在任意虚拟环境下都可以呈现出近乎真实的效果,它改变了通过模拟皮肤复杂的透射反射来计算渲染时会出现误差的局面。


未来,虚拟数字人会在各个层面得到进一步优化,人工智能与虚拟数字人的结合将成为趋势,物理世界和数字世界也许会完美地连接在一起。当今时代,视觉呈现的技术革新从未止步,它以前所未有的方式一次次打破原有的感知,为用户打造无与伦比的体验。我们可以看到,三维智能视觉的虚拟数字人正向这个新时代缓缓走来。

你可能感兴趣的:(元宇宙主角|虚拟数字人的浪潮)