虚拟数字人是如何实现互动的呢?

(文章内容不断完善中,涉及到的技术,尽可能给上案例,只要不涉及侵权)

最近看到虚拟主持人跟真人的采访,我当时很震惊,这个人咋出现在那里的呢?虚拟人的活动场景基本不是在三维空间吗?或者说一个布置好的“虚拟场景”里。

且不说怎么出现的,先说互动吧,他怎么跟真人一样聊天、互动等动作的呢?应该还是一系列算法和指令动作的的执行。

以主持人为例,如果他要跟真人一样的口型和动作,一方面是动作捕捉和面部表情捕捉的时候要做到精准,另一方面是他的延迟时间要低一些。

建模肯定是要的,建模之后,人物形态动作,会根据之前收集到的或者说捕捉到的动作数据,然后进行算法模式接近,然后,再根据深度学习,把一些动作指令进行设定,比如说什么词、句,他这边回应什么话和动作甚至表情,或者涉及到互动直播的,比如上连接的这种,他可以在听到哪个指令后,后台操作的工作人员进行操作,去上连接等等,虚拟数字人并非真的不需要人,也是数字人的一种,需要背后有一套程序算法去操作执行指令。

至于那个虚拟人跟数字人做到的同一互动,应该是在那个场景提前做了一个布置。其实所谓的互动都是一场提前排练好的演绎,就好像苏小妹跟演员的舞台共舞一样,演员背后多少次走位,一次都不能都误差,也就是虚拟人的位置是固定好的,但是演员的不是,演员是需要去迁就这个虚拟数字人的。

你可能感兴趣的:(虚拟数字人,动作捕捉,深度学习,交互,人工智能,计算机视觉)