ARVR技术 | Unity AR Foundation 2.2支持ARKit3
转自: Unity
作者: William Todd Stinson
翻译: ARVRinChina
公众号: ARVR行业领跑者
ARVR行业交流QQ群:750656715
Unity在整个ARKit 3的开发过程中一直与苹果紧密合作，我们很高兴能为Unity开发者带来这些新特性。现在，我们将深入研究最新的ARKit 3功能，并分享如何使用AR Foundation 2.2和Unity 2019.1及更高版本访问它。Unity 2018.4的用户可以使用AR Foundation 1.5访问ARKit 3的新功能。
在ARKit 3和AR Foundation 2.2中，我们引入了几个新特性，包括:
动作捕捉 (Motion capture)
人体遮挡(People occlusion)
多人脸跟踪(Face tracking enhancement including multiple faces)
协作会话(Collaborative session)
其他改进(Other improvements)
我们首先讨论的这组特性使呈现的内容与人之间的交互更加真实。
动作捕捉 (Motion capture)
ARKit 3的主要功能是通过识别世界上的人来增强AR体验。ARKit 3的一个令人兴奋的新特性是运动捕捉，它为AR Foundation应用程序提供了2D(屏幕空间)或3D(世界空间)在摄像机框架中识别人类。
对于2D检测，人类由17个关节的层次结构和屏幕空间坐标表示。对于3D检测，人类由93个关节组成的层次结构和世界空间坐标来表示。
为了表达这一全新的功能，AR Foundation添加了新的人体子系统。
这一功能只适用于某些带有A12仿生芯片和苹果神经引擎(ANE)的iOS新设备。AR Foundation apps可以在运行时查询人体子系统描述符，以确定iOS设备是否支持人体姿态估计。
人体遮挡(People occlusion)
除了动作捕捉，新的AR Foundation人体子系统还为应用程序提供人体模板和深度分割图像。模板分割图像将检测像素中是否包含人。 深度分割图像包括与设备相关的每个像素的距离估计，该距离与识别的人相关。结合使用这些分割图像可以使呈现的3D内容被现实世界中的人真实地遮挡。
模板图像本身可以用来创建视觉效果，如框架中的人物轮廓或色调。
请注意，人闭塞功能只能在iOS设备上与A12仿生芯片和ANE。
多人脸跟踪(Face tracking enhancement including multiple faces)
ARKit 3在几个重要方面扩展了对iPhone XS、iPhone XR、iPhone XS Max和最新的iPad pro上人脸跟踪的支持。
首先，在人脸跟踪过程中，前置TrueDepth摄像头可以识别多达三张不同的人脸。您可以指定通过AR Foundation Face子系统同时跟踪的最大面数。
此外，与人脸跟踪相关的最重要的变化是，能够在为世界跟踪配置的会话期间启用TrueDepth相机用于人脸跟踪。这可以实现从前置摄像头捕捉用户的面部姿态，并使用它来驱动通过后置摄像头在环境中呈现的字符的面部表情等体验成为可能。请注意，这种新的人脸跟踪模式只适用于带有A12仿生芯片和ANE的iOS设备。
协作会话(Collaborative session)
在ARKit 2中，引入ARWorldMap作为与其他用户共享环境快照的一种方法。ARKit 3在协作会话方面更进一步，允许多个相互连接的ARKit应用程序不断地交换它们对环境的理解。在AR基础上，设备可以实时共享AR参考点。会话子系统的ARKit实现公开api来发布和使用这些更新。
AR Foundation应用程序必须实现其首选的网络技术，以便将更新传递给每个连接的客户机。查看Unity Asset Store，了解各种联网游戏的网络解决方案。
其他改进
ARKit 3为现有系统带来了额外的改进。
图像跟踪和目标检测功能都包括显著的精度和性能改进。使用ARKit 3，设备可以一次检测多达100张图像。AR Foundation框架自动支持这些改进。
此外，对象检测更加健壮，能够更可靠地识别复杂环境中的对象。最后，ARKit跟踪的环境探测器现在将为每个探测器的环境纹理生成HDR cubemaps。HDR环境纹理可以在AR基础环境探测子系统上禁用。