浅析基于边缘计算的移动AR实现（上）

0 背景

        最近元宇宙已经成为各大企业和学术界追捧的热词，其中描述的场景，让人仿佛进入到一个平行世界。在这场狂欢的盛宴中，所需要的技术琳琅满目，比如本文所提到增强现实（AR）技术，即是元宇宙中一项非常重要的技术。当前AR技术并没有像预期的那样迸发，其中最大的原因是还有很多的技术挑战需要克服。AR属于计算密集型技术，其实现需要高带宽、低时延和比较强的计算能力支撑，为此之前的解决方案大多采用有线的方式将AR眼镜连接到本地计算机上，这限制了用户的使用场景。随着5G和边缘计算技术的兴起，AR的移动性大大提升，AR眼镜可以通过高带宽的无线方式接入到网络中，在就近的边缘计算设备上进行计算，这为移动AR的实现提供了新的方向。本文总结了基于边缘计算的移动AR解决方案，首先对AR的概念和业务进行了分析，然后在业务分析的基础上提出了基于边缘计算的移动AR架构，最后对其中的涉及的核心技术进行了介绍。

1 业务视角下的AR分析

        增强现实（AR）技术由来已久，这是一种全新的交互技术。当前的智能交互技术多是采用触摸屏或者语音交互，但是在我们真实的生活中，我们更习惯于用肢体与世界进行交互。这种交互方式在计算机领域有一个方向称之为自然人机交互，所谓自然人机交互，就是充分调动用户的视听味触嗅和肢体与虚拟世界中的物品进行交互。而我们的AR技术即是其中的代表，它将虚拟世界的信息叠加到真实的世界中，让用户可以像操作真实世界的物品一样操作虚拟世界。这项技术要想达到自然的程度，还有很多的路要走，当前我们针对这项技术的应用场景、业务特点和核心业务进行了总结分析，从业务的视角，结合边缘计算，提出了需要解决的问题，如下图所示。

2 AR技术应用场景和特点

        在图中，增强现实的应用场景，笔者选择了典型的几款产品，智能眼镜是承载整个AR业务的最佳实现，但是由于眼镜需要更加轻便，很多的计算任务根本不可能在本地完成，需要一套可以卸载计算任务的解决方案，当前进展比较缓慢。当前落地的比较好的产品是智能汽车上的车前窗导航或者叫抬头显示，比如华为问界上的前窗导航，可以在车前窗显示整个导航信息，因为汽车本身可以承载比较大的计算量，所以最有可能在这个产品上实现突破。最近苹果提出要将AR眼镜作为iPhone的屏幕，相信这将推动整个AR技术的快速落地。

        AR技术本身的业务特点是密集计算、需要低时延、需要高带宽和交互特性。在密集计算方面，AR技术需要采集周围的环境数据，并对环境数据进行识别，最后还需要将数据叠加到真实环境上显示出来，这些业务本身需要大数据分析、AI等技术，上面的AR承载设备看出其本身计算资源有限，因此无法在本地完成所有计算任务，需要借助边缘计算和云计算技术。AR技术需要实时识别周围环境，然后将识别的信息自然地叠加到真实环境上，因此需要低时延，否则会导致信息被延迟叠加，用户体验不佳，甚至产生眩晕。AR的计算任务包含的数据量巨大，需要卸载到云端或者边缘端进行处理，因此需要较大的带宽。最后是交互特点，AR技术是一种新的交互方式，需要感知用户的交互需求，将用户感兴趣的方面叠加到真实场景上。

3 AR核心业务和边缘计算解决方案

        接下来看一下AR的核心业务，包括场景深度估计，该深度信息在后续的信息叠加有重要的作用；图像语义理解，主要是对环境信息进行采集、识别；三维场景重建和高真实感渲染，则是对识别后的信息的呈现方式，需要显示为三维环境中的事物，这四个是识别和显示环境信息的重要业务。用户位姿估计则是预测和识别用户的行为，特别是为了更好的用户体验，需要对用户下一步的行为进行提前的感知；自然交互业务，除了识别用户位姿，还需要识别用户的语音，眼神和表情，为用户提供视听味触嗅等方面的交互方式；信息叠加，理想的情况是让用户分不清真实与虚拟的物品，这需要感知叠加物品的位置信息，需要高真实感渲染和三维重建，以便将虚拟物品无缝叠加到真实环境中。

        针对上面的核心计算任务，在边缘设备上我们可以承载哪些业务呢？AR产品本身计算资源有限，因此边缘设备需要提供大数据量处理能力；AR产品的部分或者全部的计算任务需要卸载到边缘侧，这些计算任务何时卸载，卸载多少，如何卸载的问题同样需要边缘侧提供实时的资源信息，以便做出合理的决策；边缘侧因为靠近AR产品，因此在时延问题上相比云计算具有比较大的地理位置优势，将时延有关的业务，如将叠加信息这样的业务放到边缘侧，可以保证不会出现错乱的场景。跟时延紧密相关的还有功耗的问题，AR产品本身是电池供电，因此在进行计算卸载，设备入网方式上，需要综合考虑对功耗的影响，边缘侧需要提供有助于优化终端功耗的算法框架。在AR产品入网的技术上，可以选择5G方式，也可以用中间设备间接入网，边缘设备需要提供安全的接入方式，同时AR产品具有移动性，因此在计算资源，存储资源和网络资源的迁移上也是边缘设备需要重点考虑的。最后就是边缘设备需要对用户的设备进行远程的管理和运维，设备本身也需要有自管理和维护的能力，这些都是在引入边缘计算时需要重点考虑的。下一篇文章将对如下图所示的基于边缘计算的移动AR框架展开论述，敬请期待。。。

参考文献：

【1】面向通信与计算融合的5G移动增强/虚拟现实