基于虚幻引擎与AppleAR的人脸动画实时迁移项目

 

 

最近上网闲逛,发现一个非常有趣的Unreal项目,可以利用iphone的前置摄像头(一般要求iphoneX及更新的版本)捕捉人脸数据并传输到Unreal中,以实现人脸动画的实时迁移与模拟。整个过程以数据流的方式实现,稳定性极好,速度极快,且表情捕捉的精度非常高,基本上可以替换过去复杂的多目人脸数据采集系统。在Unreal的官方频道,介绍了该项目在一个三维动画项目中的应用。设计师通过该系统能够捕捉包括人脸表情,手部动作以及人体姿态与运动等多种数据,并驱动一个三维拟真数字角色实现各种复杂的动作。该项目大大提高了三维动画制作的效率。我在这里给出视频链接:

[聚焦]《Xanadu》展示表演驱动的角色动画(官方字幕)_哔哩哔哩_bilibili

接下来我们来看一下如何跑起来unreal提供的demo程序。部分内容摘取自视频教程:

使用iphone结合LiveLinkFace进行面部捕捉_哔哩哔哩_bilibili

1. 环境配置

1.1 PC端

首先需要安装Unreal引擎,我在windows和mac os上都安装过,都能够实现配置。下载地址:

https://www.unrealengine.com/zh-CN/download

我使用的是4.27版本,相对更稳定一下。首先是下载一个Epic Games Launcher,然后在Epic Games Launcher的右上角下载引擎。

当下载完成后,第一次载入会需要一些时间进行初始化:

基于虚幻引擎与AppleAR的人脸动画实时迁移项目_第1张图片

完成初始化后,就能够看到界面:

基于虚幻引擎与AppleAR的人脸动画实时迁移项目_第2张图片

接下来我们需要在Epic Games Launcher界面下找到学习选项,查找并下载项目面部AR示例: 

下载完成后,可以在库中找到该项目:

基于虚幻引擎与AppleAR的人脸动画实时迁移项目_第3张图片

点击facialAR,这样我们完成了加载,进入到引擎中的项目视图:

1.2 手机端 

下载软件Live Link Face,进入软件,并且配置网络连接(设置->Live Link->目标:输入你PC及其的IPV4地址,windows输入ipconfig查找,mac在系统偏好设置,网络中查看。注意协议的版本,由于我使用的是4.27版本的Unreal,这里选择4.25及以后版本)

注意,如果你使用的windows系统来做PC段的配置,那么请关闭防火墙,否则数据会传输不到Unreal中。应该可以通过建立白名单实现传输,但是我查看了防火墙设置并把Unreal列为白名单应用,但是没有软用,还是找不到。只有关闭防火墙数据流才能被接受。Mac OS没有这个问题。

基于虚幻引擎与AppleAR的人脸动画实时迁移项目_第4张图片基于虚幻引擎与AppleAR的人脸动画实时迁移项目_第5张图片 基于虚幻引擎与AppleAR的人脸动画实时迁移项目_第6张图片

到此,完成了全部的环境配置。

2. 程序运行

运行我们刚刚下载的面部AR程序,选择窗口,live link,如果你的网络配置正确,就能够看到在Apple AR面部追踪下面,有你的iphone选项。选择该选项,并完成链接。

基于虚幻引擎与AppleAR的人脸动画实时迁移项目_第7张图片 

然后,选择内容浏览器里边的KiteBoyHead...AnimBP这个项目,进入到动画蓝图界面

基于虚幻引擎与AppleAR的人脸动画实时迁移项目_第8张图片

在这里,选择菜单栏的Animgraph,你会看到一个有显示流动画的界面

在Live Link Subject Name里边,选择你已经连接好的iphone,这样就完成了所有的配置,回到主界面,点击运行,整个项目就能够跑起来了。

基于虚幻引擎与AppleAR的人脸动画实时迁移项目_第9张图片

3. 总结

这个项目整体来说还是很有学习和研究价值的。虚幻已经出了基于该项目与MetaHuman的联动开发视频,帮助创作者建立更加真实的,且高度可编辑的Avatar系统。通过iphone手机实现实时的表情迁移与动作控制,使得该项目的实用性大大提高。这套系统具有很大的潜力,能够大幅度的降低人体数据捕获的成本,并简化了传统的三维动画制作流程。这对于小规模的开发团队以及视频内容创作者来说,是非常值得深入研究并跟进的。我也会在将来进一步的研究该项目的相关技术细节。

基于虚幻引擎与AppleAR的人脸动画实时迁移项目_第10张图片

你可能感兴趣的:(图形学算法,iphone,动画,ios,Unreal,虚幻引擎)