增强现实技术(AR)

1、简介

  增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

2、概述

  增强现实（Augmented Reality，简称AR），增强现实技术也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。
  增强现实技术不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来，这些细腻内容相互补充和叠加。在视觉化的增强现实中，用户需要在头盔显示器的基础上，促使真实世界能够和电脑图形之间重合在一起，在重合之后可以充分看到真实的世界围绕着它。增强现实技术中主要有多媒体和三维建模以及场景融合等新的技术和手段，增强现实所提供的信息内容和人类能够感知的信息内容之间存在着明显不同。

3、发展

  AR技术的起源，可追溯到Morton Heilig在20世纪五、六十年代所发明的Sensorama Stimulator。他是一名电影制作人兼发明家。他利用他的多年的电影拍摄经验设计出了叫Sensorama Stimulator的机器。SensoramaStimulator同时使用了图像、声音、香味和震动，让人们感受在纽约的布鲁克林街道上骑着摩托车风驰电掣的场景。这个发明在当时非常超前。以此为契机，AR也展开了它的发展史。
  由于AR技术的颠覆性和革命性，AR技术获得了大量关注。早在20世纪90年代，就有3D游戏上市，但由于当时的AR技术价格较高，其自身延迟较长，设备计算能力有限等缺陷，导致这些AR游戏产品以失败收尾，第一次AR热潮就此消退。到了2014年，Facebook以20亿美元收购Oculus后，类似的AR热再次袭来。在2015和2016两年间，AR领域共进行了225笔风险投资，投资额达到了35亿美元，原有的领域扩展到多个新领域，如城市规划、虚拟仿真教学、手术诊疗、文化遗产保护等。如今，AR、VR等沉浸式技术正在快速发展，一定程度上改变了消费者、企业与数字世界的互动方式。用户期望更大程度上从2D转移到沉浸感更强的3D，从3D获得新的体验，包括商业、体验店、机器人、虚拟助理、区域规划、监控等，人们从只使用语言功能升级到包含视觉在内的全方位体验。而在这个发展过程中，AR将超越VR，更能满足用户的需求。

4、关键技术

• 跟踪注册技术

  为了实现虚拟信息和真实场景的无缝叠加，这就要求虚拟信息与真实环境在三维空间位置中进行配准注册。这包括使用者的空间定位跟踪和虚拟物体在真实空间中的定位两个方面的内容。而移动设备摄像头与虚拟信息的位置需要相对应，这就需要通过跟踪技术来实现。跟踪注册技术首先检测需要‘增强"的物体特征点以及轮廓，跟踪物体特征点自动生成二维或三维坐标信息。跟踪注册技术的好坏直接决定着增强现实系统的成功与否,常用的跟踪注册方法有基于跟踪器的注册、基于机器视觉跟踪注册、基于无线网络的混合跟踪注册技术四种。

• 显示技术

  增强现实技术显示系统是比较重要的内容，为了能够得到较为真实的虚拟相结合的系统，使得实际应用便利程度不断提升，使用色彩较为丰富的显示器是其重要基础，在这一基础上，显示器包含头盔显示器和非头盔显示设备等相关内容，透视式头盔能够为用户提供相关的逆序融合在一起的情境，这些系统在具体操作过程中，操作的原理和虚拟现实领域中的沉浸式头盔等内容之间相似程度比较高级。其和使用者交互的接口及图像等综合在一起，使用更加真实有效的环境对其实施应用微型摄像机的形式，拍摄外部环境图像，使计算机图像在得到有效处理的时候，可以和虚拟以及真实环境融合在一起，并且两者之间的图像也能够得以叠加。光学透视头盔显示器可以在这一基础上利用安装在用户眼前的半透半反光学合成器，充分和真实环境综合在一起，真实的场景可以在半透镜的基础上，为用户提供支持，并且满足用户的相关操作需要。

• 虚拟物体生成技术

  增强现实技术在应用的时候，其目标是使得虚拟世界的相关内容，在真实世界中得到叠加处理，有效在算法程序的应用基础上，促使物体动感操作有效实现。当前虚拟物体的生成是在三维建模技术的基础上得以实现的，能够充分体现出虚拟物体的真实感，在对增强现实动感模型研发的过程中，需要能够全方位和集体化对物体对象展示出来。虚拟物体生成的过程中，自然交互是其中比较重要的技术内容，在具体实施的时候，对现实技术的有效实施有效辅助，使信息注册更好的实现，利用图像标记实时监控外部输入信息内容，使得增强现实信息的操作效率能够提升，并且用户在信息处理的时候，可以有效实现信息内容的加工，提取其中有用的信息内容。

• 交互技术

  与在现实生活中不同，增强现实是将虚拟事物在现实中的呈现，而交互就是帮助虚拟事物在现实中更好的呈现做准备，因此想要等到更好的AR体验，交互就是其中的重中之重。
AR设备的交互方式主要分为以下三种：
（1）现实世界中的点位选取来进行交互是最为常见的一种交互方式，例如最近流行的AR贺卡和毕业相册就是通过图片位置来进行交互的。
（2）将空间中的一个或多个事物的特定姿势或者状态加以判断，这些姿势都对应着不同的命令。使用者可以任意改变和使用命令来进行交互，比如用不同的手势表示不同的指令。
（3）使用特制工具进行交互。比如谷歌地球，它就是利用类似于鼠标一样的东西来进行一系列的操作，从而满足用户对于AR互动的要求。

• 合并技术

  增强现实的目标是将虚拟信息与输入的现实场景无缝结合在一起，为了增加AR使用者的现实体验，要求AR具有很强真实感，为了达到这个目标不单单只考虑虚拟事物的定位，还需要考虑虚拟事物与真实事物之间的遮挡关系以及具备四个条件：几何一致、模型真实、光照一致和色调一致，这四者缺一不可，任何一种的缺失都会导致AR效果的不稳定，从而严重影响AR的体验。

5、工作原理

  AR的三大技术要点：三维注册（跟踪注册技术）、虚拟现实融合显示、人机交互。其流程是首先通过摄像头和传感器将真实场景进行数据采集，并传入处理器对其进行分析和重构，再通过AR头显或智能移动设备上的摄像头、陀螺仪、传感器等配件实时更新用户在现实环境中的空间位置变化数据，从而得出虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景与现实场景的融合计算，最后将其合成影像呈现给用户。用户可通过AR头显或智能移动设备上的交互配件，如话筒、眼动追踪器、红外感应器、摄像头、传感器等设备采集控制信号，并进行相应的人机交互及信息更新，实现增强现实的交互操作。其中，三维注册是AR技术之核心，即以现实场景中二维或三维物体为标识物，将虚拟信息与现实场景信息进行对位匹配，即虚拟物体的位置、大小、运动路径等与现实环境必须完美匹配，达到虚实相生的地步。

6、系统组成

  增强现实系统在功能上主要包括四个关键部分，其中，图像采集处理模块是采集真实环境的视频，然后对图像进行预处理;而注册跟踪定位系统是对现实场景中的目标进行跟踪，根据目标的位置变化来实时求取相机的位姿变化，从而为将虚拟物体按照正确的空间透视关系叠加到真实场景中提供保障;虚拟信息渲染系统是在清楚虚拟物体在真实环境中的正确放置位置后，对虚拟信息进行渲染；虚实融合显示系统是将渲染后的虚拟信息叠加到真实环境中再进行显示。
  一个完整的增强现实（AR）系统是由一组紧密联结、实时工作的硬件部件与相关软件系统协同实现的，有以下三种常用的组成形式。
（1）基于计算机显示器
在基于计算机显示器的增强现实（AR）实现方案中，摄像机摄取的真实世界图像输入到计算机中，与计算机图形系统产生的虚拟景象合成，并输出到计算机屏幕显示器。用户从屏幕上看到最终的增强场景图片。这种实现方案简单。
（2）视频透视式
视频透视式增强现实（AR）系统采用的基于视频合成技术的穿透式HMD（Video See-through HMD）。
（3）光学透视式
头盔式显示器（Head-mounted displays，简称HMD）被广泛应用于增强现实（AR）系统中，用以增强用户的视觉沉浸感。根据具体实现原理又可以划分为两大类，分别是基于光学原理的穿透式HMD（Optical See-through HMD）和基于视频合成技术的穿透式HMD（Video See-throughHMD）。
光学透视式增强现实（AR）系统具有简单、分辨率高、没有视觉偏差等优点，但它同时也存在着定位精度要求高、延迟匹配难、视野相对较窄和价格高等问题。

7、应用领域

  随着AR技术的成熟，AR越来越多地应用于各个行业，如教育、培训、医疗、设计、广告等。

• 教育

  AR以其丰富的互动性为儿童教育产品的开发注入了新的活力，儿童的特点是活泼好动，运用AR技术开发的教育产品更适合孩子们的生理和心理特性。例如，现在市场上随处可见的AR书籍，对于低龄儿童来说，文字描述过于抽象，文字结合动态立体影像会让孩子快速掌握新的知识，丰富的交互方式更符合孩子们活泼好动的特性，提高了孩子们的学习积极性。在学龄教育中AR也发挥着越来越多的作用，如一些危险的化学实验，及深奥难懂的数学、物理原理都可以通过AR使学生快速掌握。

• 健康医疗

  近年来，AR技术也越来越多地被应用于医学教育、病患分析及临床治疗中，微创手术越来越多地借助AR及VR技术来减轻病人的痛苦，降低手术成本及风险。此外在医疗教学中，AR与VR的技术应用使深奥难懂的医学理论变得形象立体、浅显易懂，大大提高了教学效率和质量。

• 广告购物

  AR技术可帮助消费者在购物时更直观地判断某商品是否适合自己，以作出更满意的选择。用户可以轻松地通过该软件直观地看到不同的家具放置在家中的效果，从而方便用户选择，该软件还具有保存并添加到购物车的功能。

• 展示导览

  AR技术被大量应用于博物馆对展品的介绍说明中，该技术通过在展品上叠加虚拟文字、图片、视频等信息为游客提供展品导览介绍。此外，AR技术还可应用于文物复原展示，即在文物原址或残缺的文物上通过AR技术将复原部分与残存部分完美结合，使参观者了解文物原来的模样，达到身临其境的效果。

• 应用于信息检索领域

  对于用户需要对某一物品的功能和说明清晰了解时，增强现实技术会根据用户需要将该物品的相关信息从不同方向汇聚并实时展现在用户的视野内。在未来，人们可以在通过扫描面部，识别出此人的信用以及部分公开信息，防止上当受骗，这些技术的实现很大程度上减少了受骗几率，方便用户快速高效的工作。

• 应用于工业设计交互领域

  增强现实技术最特殊的地方就是在于其高度交互性，应用于工业设计中，主要表现为虚拟交互，通过手势、点击等识别来实现交互技术，将虚拟的设备、产品去展示给设计者和用户前，也可以通过部分控制实现虚拟仿真，模仿装配情况或日常维护、拆装等工作，在虚拟中学习，减少了制造浪费以及对人才培训的成本，大大改善了设计的体制，缩短了设计时间提高效率。

8、VR与AR对比

• VR

  虚拟现实技术简称为VR技术，是一种采用3D交互逻辑的成像技术类别。虚拟现实技术应用时间较短，所以核心结构主要以环境模拟系统、环境感知系统及环境传感系统构成。虚拟现实技术顾名思义，是将使用者带入预设完成的虚拟空间，通过虚拟空间体验实现在视觉的图像刺激，从而达到三维成像技术应用的目的。现代虚拟现实技术应用虽然总体较为成熟，但不具备独立环境预设功能。需要通过与计算机的连接实现对成像内容的控制，并有计算机成为虚拟空间设计，因此虚拟实现技术应用主要起到视觉传到及视觉信息传播的实际作用，使图像信息从二维空间结构向三维空间结构过渡，以此形成完善的图像处理体系，使使用者达到最佳的图像观感体验。

• 比较

  VR用户基数较小，移动性较差，具有隔离的沉浸感，因此主要集中在娱乐用途上。娱乐收入可能会占据整个行业收入的三分之二，硬件占比约四分之一。虽然VR也会有企业用途，但是相对于AR和智能眼镜而言少得多。VR电子商务和广告收入会增长，但目前用户群的规模和分散性限制了其发展。
  与VR相比，AR会触及到更多的人，因为它是对人们日常生活的无缝补充。AR是将计算机生成的虚拟世界叠加在现实世界上，医药、教育、工业上的各种实际应用，已经佐证了AR作为工具，对人类的影响更为深远。而不是像VR那样在现实世界之外营造出一个完全虚拟的世界。国外分析师也认为“AR”将会成为“更加日常化的移动设备应用的一部分”。同时，移动AR的普及和低成本也有助于企业从采用AR技术，企业AR可以稳定增长，到2021年左右增强现实技术将在制造/资源、TMT、政府（包括军事）、零售、建筑/房地产、医疗保健、教育、交通运输、金融服务、公用事业方面都得到应用。