AR学习笔记

概念

增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

关键技术

1、跟踪注册技术
为了实现虚拟信息和真实场景的无缝叠加，这就要求虚拟信息与真实环境在三维空间位置中进行配准注册。这包括使用者的空间定位跟踪和虚拟物体在真实空间中的定位两个方面的内容。而移动设备摄像头与虚拟信息的位置需要相对应，这就需要通过跟踪技术来实现。跟踪注册技术首先检测需要‘增强"的物体特征点以及轮廓，跟踪物体特征点自动生成二维或三维坐标信息。跟踪注册技术的好坏直接决定着增强现实系统的成功与否,常用的跟踪注册方法有基于跟踪器的注册、基于机器视觉跟踪注册、基于无线网络的混合跟踪注册技术四种

2、显示技术
增强现实技术显示系统是比较重要的内容，为了能够得到较为真实的虚拟相结合的系统，使得实际应用便利程度不断提升，使用色彩较为丰富的显示器是其重要基础，在这一基础上，显示器包含头盔显示器和非头盔显示设备等相关内容，透视式头盔能够为用户提供相关的逆序融合在一起的情境，这些系统在具体操作过程中，操作的原理和虚拟现实领域中的沉浸式头盔等内容之间相似程度比较高级。其和使用者交互的接口及图像等综合在一起，使用更加真实有效的环境对其实施应用微型摄像机的形式，拍摄外部环境图像，使计算机图像在得到有效处理的时候，可以和虚拟以及真实环境融合在一起，并且两者之间的图像也能够得以叠加。光学透视头盔显示器可以在这一基础上利用安装在用户眼前的半透半反光学合成器，充分和真实环境综合在一起，真实的场景可以在半透镜的基础上，为用户提供支持，并且满足用户的相关操作需要。

3、虚拟物体生成技术
增强现实技术在应用的时候，其目标是使得虚拟世界的相关内容，在真实世界中得到叠加处理，有效在算法程序的应用基础上，促使物体动感操作有效实现。当前虚拟物体的生成是在三维建模技术的基础上得以实现的，能够充分体现出虚拟物体的真实感，在对增强现实动感模型研发的过程中，需要能够全方位和集体化对物体对象展示出来。虚拟物体生成的过程中，自然交互是其中比较重要的技术内容，在具体实施的时候，对现实技术的有效实施有效辅助，使信息注册更好的实现，利用图像标记实时监控外部输入信息内容，使得增强现实信息的操作效率能够提升，并且用户在信息处理的时候，可以有效实现信息内容的加工，提取其中有用的信息内容。

4、交互技术
与在现实生活中不同，增强现实是将虚拟事物在现实中的呈现，而交互就是帮助虚拟事物在现实中更好的呈现做准备，因此想要等到更好的AR体验，交互就是其中的重中之重。

AR设备的交互方式主要分为以下三种：

（1）现实世界中的点位选取来进行交互是最为常见的一种交互方式，例如最近流行的AR贺卡和毕业相册就是通过图片位置来进行交互的。 ^[5]

（2）将空间中的一个或多个事物的特定姿势或者状态加以判断，这些姿势都对应着不同的命令。使用者可以任意改变和使用命令来进行交互，比如用不同的手势表示不同的指令。 ^[5]

（3）使用特制工具进行交互。比如谷歌地球，它就是利用类似于鼠标一样的东西来进行一系列的操作，从而满足用户对于AR互动的要求。

5、合并技术
增强现实的目标是将虚拟信息与输入的现实场景无缝结合在一起，为了增加AR使用者的现实体验，要求AR具有很强真实感，为了达到这个目标不单单只考虑虚拟事物的定位，还需要考虑虚拟事物与真实事物之间的遮挡关系以及具备四个条件：几何一致、模型真实、光照一致和色调一致，这四者缺一不可，任何一种的缺失都会导致AR效果的不稳定，从而严重影响AR的体验。

工作原理

AR的三大技术要点：三维注册（跟踪注册技术）、虚拟现实融合显示、人机交互。其流程是首先通过摄像头和传感器将真实场景进行数据采集，并传入处理器对其进行分析和重构，再通过AR头显或智能移动设备上的摄像头、陀螺仪、传感器等配件实时更新用户在现实环境中的空间位置变化数据，从而得出虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景与现实场景的融合计算，最后将其合成影像呈现给用户。用户可通过AR头显或智能移动设备上的交互配件，如话筒、眼动追踪器、红外感应器、摄像头、传感器等设备采集控制信号，并进行相应的人机交互及信息更新，实现增强现实的交互操作。其中，三维注册是AR技术之核心，即以现实场景中二维或三维物体为标识物，将虚拟信息与现实场景信息进行对位匹配，即虚拟物体的位置、大小、运动路径等与现实环境必须完美匹配，达到虚实相生的地步。

ar.js应用

图像跟踪，当摄像机发现二维图像时，可以在其上或其附近显示某种内容。内容可以是二维图像、GIF、三维模型（也可以是动画）和二维视频。使用案例：增强艺术、学习（增强书籍）、增强传单、广告等。

基于位置的AR，这种AR在用户设备上使用真实的位置来显示增强现实的内容。使用这个库可以建立的体验是那些在现实世界中使用用户位置的体验。用户可以移动（理想情况下是户外），通过智能手机，他们可以看到现实世界中某个地方的AR内容。移动和旋转手机会使AR内容根据用户的位置和旋转而变化（因此，位置会“粘住”在其真实位置，并根据与用户的距离而变大/变薄）。有了这个解决方案，就可以建立一些体验，比如对旅游指南的互动支持，探索新城市时的支持，找到感兴趣的地方，比如建筑物、博物馆、餐馆、酒店等等。它也可以建立学习经验，如寻宝和生物学或历史学习游戏，或使用这项技术的情境艺术（视觉艺术经验，绑定到具体的现实世界坐标）。

标记跟踪，当摄像机找到标记时，可以显示一些内容（与图像跟踪相同）。标记非常稳定，但在形状、颜色和大小上受到限制。建议在需要大量不同内容的标记的情况下使用。使用实例：（增广书籍），增广传单，广告。