传统广电在虚拟数字人领域的探索与应用

一、   概述

    近几年来，“元宇宙”、“数字人”的概念渐渐被大众所熟知，前有Bilibili的洛天依，后有腾讯的星瞳，SMT的申䒕雅，除了更接近于真人的观感质感以外，“数字人”更不受空间、时间的约束，能够满足直播带货、虚拟偶像、数字员工等各种各样的制作需求，能够面向各个行业的应用。

    与此同时，市场上的“元宇宙”、“数字人”相关产品，往往因高昂的价格、复杂的制作流程、后期运行和维护，使得很多公司和个人都望而却步。如何将虚拟数字人，高效融入应用到传统广电和相关融媒产业，在坚守宣传主阵地的同时，创造新的经济价值，是我们广电人一直要思考的问题。

二、传统广电在虚拟数字人领域的应用分析

相对于其他行业，广电在虚拟人制作与开发上有着先天的优势：

首先，我们在虚拟制作领域有着先天的优势，AR/VR在广电电视端及融媒端的应用早已不是什么新鲜事，广电专业系统设备包含着完整的AR/VR播出解决方案，这使得“数字人”能够更精确、快速的接入现有的AR/VR场景，实现与真实场景中人或事物的交互。

其次，宣传和IP化的运营一直是广电营销团队的强项，最近这几年，我们通过各类融媒平台之直播、创新方案设计、安全播出等在行业内积累了一定的经验和口碑，借助“数字人”创新IP化的打造，能够更有效的为宣传和营销助力，更观众带来更沉浸式的视听体验。

最后，台内新闻、营销方面有高水准的包装制作团队，“数字人”要动起来，除了有人驱动以外，还需要结合绚丽的内容包装一起输出，如虚拟演播室、互动场景等。

与此同时，广电在数字人领域还存在着一些不足，如缺少高保真数字人建模和绑定团队，在驱动数字人的身体和面部上没有相关经验以及结合UE4渲染引擎的包装制作方面，这也是今后随着项目的扩展不断优化提升的方向。

三、虚拟人“苏小新”案例介绍

在2022年苏州市两会期间，总台技术团队通过自主研发，首次将数字人“苏小新”搬到了荧幕前，为融媒端、电视端的两会播出报道，带来了耳目一新的感觉。技术团队以创新推动引领，改变固有工作模式，在接到节目部门初步的需求方案后，技术团队从数字人、虚拟场景、动作设计、镜头和灯光的运用等多个维度，给节目部门提供了一套完整的解决方案，通过对各类应用的创新性整合，以达到最优的呈现方案。

技术部门向节目部门介绍虚拟人方案

技术人员现场调试

3.1、高保真数字人形象创建

数字人作为整个创作的核心，以往都需要花费大量的时间和费用在数字人的构造上，为了适应当前融媒制作需求，技术团队通过Metahuman Creator应用软件，实时在线修改，跟节目部门一起确立高保真数字人的形象，并应用到UE4引擎，Metahuman Creator软件对高保真数字人的创作没有硬件需求，完全免费，数字人形象确立后，可直接导入UE4引擎。

在线确立高保真数字人形象1

 在线确立高保真数字人形象2

3.2、人工智能语音训练

“苏小新”在苏州两会期间的报道，全程采用人工智能语音的方式，为了达到接近真实人的效果，技术团队采集了苏州新闻主播马绍元的声音并进行了人工智能大数据训练，马绍元的声音被采集完成一次后，“苏小新”便能自主学习，将输入文本一键转化成语音输出，大大节省了制作时间。

主播马绍元声音与表情采集现场

AI语音训练平台

3.3、AI实时驱动

数字人“苏小新”的面部表情、肢体表现的驱动则是使用了当下最先进的AI语音驱动技术。在此基础上，还对已生成的动作与表情文件进行了微调，让“苏小新”能更加接近真实人播报新闻的效果，屏幕表现也更加细腻。

面部实现AI实时驱动页面1

动作实现AI实时驱动页面1

3.4、沉静式虚拟交互场景设计

依托于UE4强大的渲染平台，技术团队采用了当下最先进的实时光线追踪技术，模拟出了真实演播室的光照效果，使高保真数字人更真实的融入到了节目中。同时，技术团队提供的多屏实时互动，镜头多动态切换、演播室灯光处理营造出了比真实演播室更好的观感体验。

两会虚拟演播室1

两会虚拟演播室2

四、虚拟人技术的扩展及展望

“苏小新”是总台技术团队在数字人技术创新应用的初次尝试，后续随着应用场景的变化，数字方案也将针对性了进行调整和扩展：

快速化的数字人播出方案，如融媒端的虚拟主播带货、虚拟直播等，应该以高效、简单、灵活为主，那么在数字人建模上可使用精度较低的2.5D卡通风格人物，这类人物多以VRM模型为主，可进行简单的制作加工，并伴随有各类直播软件，通过单摄像头驱动数字人半身/全身，实现简单的AR/VR直播，同时推流给各类融媒客户端。

虚拟员工的实现方案，如满足台内参观接待、手语新闻、简单的业务交互服务，这类数字人主要主要以AI驱动为主，目前国内各大云平台，都带有语音交互接口并支持大数据训练的定制方案，虚拟员工在说话时，不需要做大幅度的动作，因此一些手部和肢体动作，也可以用简单的人物动画来驱动。

长期化数字人的IP运营和播出，此类数字人代表台内对外宣传形象，在人物模型和动作捕捉的精度上，都要远高于其他数字人方案，能够应对各类场景，如大型节目晚会、电视端新闻直播、融媒端实时互动的制作需求，因此需要真人穿戴动捕服对数字人进行实时驱动，并结合定制化的AR/VR场景进行播出，相对技术和维护门槛也会更高。

伴随着技术的快速发展，虚拟数字人技术在应用上也会变得越来越简单，现在一套动捕驱动设备加上一个虚拟数字人，动辄百万以上的投资，相信在不远的将来，就会真正飞入寻常百姓家，技术不是什么高新技术，难点就在于将这些技术整合在一起进行创新性的应用，创造出更多的虚拟数字人应用场景。