基于虚幻引擎与AppleAR的人脸动画实时迁移项目

 

 

最近上网闲逛，发现一个非常有趣的Unreal项目，可以利用iphone的前置摄像头（一般要求iphoneX及更新的版本）捕捉人脸数据并传输到Unreal中，以实现人脸动画的实时迁移与模拟。整个过程以数据流的方式实现，稳定性极好，速度极快，且表情捕捉的精度非常高，基本上可以替换过去复杂的多目人脸数据采集系统。在Unreal的官方频道，介绍了该项目在一个三维动画项目中的应用。设计师通过该系统能够捕捉包括人脸表情，手部动作以及人体姿态与运动等多种数据，并驱动一个三维拟真数字角色实现各种复杂的动作。该项目大大提高了三维动画制作的效率。我在这里给出视频链接：

[聚焦]《Xanadu》展示表演驱动的角色动画(官方字幕)_哔哩哔哩_bilibili

接下来我们来看一下如何跑起来unreal提供的demo程序。部分内容摘取自视频教程：

使用iphone结合LiveLinkFace进行面部捕捉_哔哩哔哩_bilibili

1. 环境配置

1.1 PC端

首先需要安装Unreal引擎，我在windows和mac os上都安装过，都能够实现配置。下载地址：

https://www.unrealengine.com/zh-CN/download

我使用的是4.27版本，相对更稳定一下。首先是下载一个Epic Games Launcher，然后在Epic Games Launcher的右上角下载引擎。

当下载完成后，第一次载入会需要一些时间进行初始化：

完成初始化后，就能够看到界面:

接下来我们需要在Epic Games Launcher界面下找到学习选项，查找并下载项目面部AR示例： 

下载完成后，可以在库中找到该项目：

点击facialAR，这样我们完成了加载，进入到引擎中的项目视图：

1.2 手机端 

下载软件Live Link Face，进入软件，并且配置网络连接（设置->Live Link->目标:输入你PC及其的IPV4地址，windows输入ipconfig查找，mac在系统偏好设置，网络中查看。注意协议的版本，由于我使用的是4.27版本的Unreal，这里选择4.25及以后版本）

注意，如果你使用的windows系统来做PC段的配置，那么请关闭防火墙，否则数据会传输不到Unreal中。应该可以通过建立白名单实现传输，但是我查看了防火墙设置并把Unreal列为白名单应用，但是没有软用，还是找不到。只有关闭防火墙数据流才能被接受。Mac OS没有这个问题。

 

到此，完成了全部的环境配置。

2. 程序运行

运行我们刚刚下载的面部AR程序，选择窗口，live link，如果你的网络配置正确，就能够看到在Apple AR面部追踪下面，有你的iphone选项。选择该选项，并完成链接。

 

然后，选择内容浏览器里边的KiteBoyHead...AnimBP这个项目，进入到动画蓝图界面

在这里，选择菜单栏的Animgraph，你会看到一个有显示流动画的界面

在Live Link Subject Name里边，选择你已经连接好的iphone，这样就完成了所有的配置，回到主界面，点击运行，整个项目就能够跑起来了。

3. 总结

这个项目整体来说还是很有学习和研究价值的。虚幻已经出了基于该项目与MetaHuman的联动开发视频，帮助创作者建立更加真实的，且高度可编辑的Avatar系统。通过iphone手机实现实时的表情迁移与动作控制，使得该项目的实用性大大提高。这套系统具有很大的潜力，能够大幅度的降低人体数据捕获的成本，并简化了传统的三维动画制作流程。这对于小规模的开发团队以及视频内容创作者来说，是非常值得深入研究并跟进的。我也会在将来进一步的研究该项目的相关技术细节。