提示:本系列文章主要面向在 Unity 中如何使用 Sony ToF AR SDK 进行增强现实应用程序开发。
第一章 被定义之前的增强现实
第二章 ToF AR 基础与 Unity 设置
第三章 ToF AR 在 Unity 中开发增强现实应用程序
第四章 AR Foundation 人脸跟踪
第五章 ToF AR Hand Component 增强现实手势识别
增强现实(Augmented Reality)术语由 Tom Caudell 在 1990 年创造,从那一刻起,不同的应用程序和平台相继开发出更多的增强现实技术和应用程序。
符合2015年Gartner技术成熟曲线所预测,“增强现实”在近年在市面上受到主要媒体与业界高度的注意,逐步进入稳步爬升的光明期 (Slope of Enlightenment)。
但这里所指的“增强现实”是科技领域的发明,于 1970 年代首次出现,是一种用于虚拟世界体验、代表着一种实时地计算真实世界的空间特征并叠加上符合预期空间关系的数字内容的技术。如果我们重新梳理“增强现实”的历史脉络,“增强现实”还会意味着什么可能性?
司南是中国古代辨别方向用的一种仪器,据《古矿录》记载最早出现于战国时期的河北磁山一带。据近代考古学家猜测,用天然磁铁矿石琢成一个勺形的东西,放在一个光滑的盘上,盘上刻着方位,利用磁铁指南的作用,可以辨别方向。将信息叠加于对现实世界的认知之上。
《墨经·经说下》中留有这样一段记载:“光之人,煦若射。下者之人也高,高者之入也下。足蔽下光,故成景于上;首蔽上光,故成景于下。在远近有端与于光故景库内也。”
白话大意是:“光线照到人(光之人),人体所反射的光线好比箭射那样地直线前进(煦若射)。这样,人的下部在屏之高处成像;人的高部在屏之下面成像(下者之人也高,高者之入也下)。即所成之人像为倒转。何以故呢?这是因为,来自足部的光线,其下面一部分被遮蔽了;来自头部的光线,其上面一部分被遮蔽了的缘故(足蔽下光,故成景于上;首蔽上光,故成景于下)。但正因为在光路上或远或近存在着小孔,可让光线透入,故暗匣内所成之象是个明亮的影像(在远近有端与于光故景库内也)。”
古希腊哲学家柏拉图(Plato)在《理想国(Πολιτεία)》第七卷《国家篇》中描述的对人类知识的基本想象:在一个阳光无法进入的洞穴中,一群囚犯被束缚着手脚,他们背对着洞穴的出口。面向远处的墙壁。他们的四肢被套上了枷锁,并且他们的头颈也被固定住,无法转动,因此看不到他人,实际上也看不到自己身体的任何部分,而只能够看到面前的墙壁。他们在如此的环境下终其一生,不知道其他任何东西。
在洞穴中,他们身后有一把明火。他们不知道自己和明火之间隔着与人一般高的土墙,在墙的另一边,人们头顶东西走来走去,东西的影子被火光投射到囚徒面前的墙壁上,人们的嘈杂声也回响到墙壁那边囚徒们的耳朵里。这样一来,囚徒们一生中所感觉或经验到的唯一实在就是这些影子和回声。
在此情况下,他们自然而然地会以为这些影子和回声成了全部的现实,他们能够谈论的,就是这种“现实”以及对这种“现实”的经验。
在欧几里得(Euclid)《光学(Optics)》中探讨了透视的原理,并解释了眼睛为什么可以看到物体,使用“暗箱”作为光线以直线传播的证据
幻术在汉代称“奇戏”,其中一个重要内容就是运用魔术手段展现古代神话故事中的仙境。
当时最动人的节目是“鱼龙漫衍”。
“漫衍”,据古人描述是只八百尺长的大动物,背上会忽然变出神山仙境来,节目演出时首先出场的是一头名叫“含利”的瑞兽在庭院中嬉戏,然后跳入水池,顿时激起水花,“含利”在水花的掩护下忽然变成一条比目鱼。比目鱼不但会游泳,还会抬头喷水,刹时水雾迷蒙把太阳都遮住了,在水雾的遮掩下,比目鱼突然化成八丈长的黄龙,跃出水面在庭院中遨游嬉戏,此时日出雾散,天空灿烂无比。
由于各类角色均由人扮演,且又穿插了大量的歌舞表演,所以初看似戏剧又似歌舞节目,但究其呼风唤雨、变幻多端的表演方式,应该是典型的魔术节目。这是记载最早的具备完整演出形式的幻术节目,也是汉代宫廷杂技代表作之一。后世往往沿用“鱼龙”或“鱼龙之戏”来概括整个杂技,该戏甚至成为“百戏”的代名词。
大约在公元1000年的时候,伊本·海赛姆(Ibn al一Haytham)通过实验证明,人之所以可以看到东西,是由于物体上的光线反射进入人眼,就此,他推翻了欧几里得关于人眼发出光线的理论。进一步的,海赛姆还对人眼进行了细致研究,并提出了视网膜、角膜、玻璃体等沿用至今的概念。最终在对古希腊光学进行了深刻的批判性的吸收之后,海赛姆写下巨著《光学全书》,现代光学由此发端,所以海赛姆就被称为“光学之父”。
在15 世纪发明家 Johannes de Fontana 的速写本中列出了各种奇妙且通常是不可能的发明的设计目录,包括喷火自动机、滑轮驱动的天使,以及现存最早的魔术灯装置图纸。
这是一卷 68 幅图纸宣传了希望出售给顾客的发明,这本书普遍被认为是在 1415 年至 1420 年之间的某个时间创作的,并没有保存下来的具体名称,但后来的所有者将其命名为《战争器械之书(Bellicorum instrumentorum liber)》——尽管事实上大部分内容并不涉及军事事务。
在丰塔纳的其他一些设计中,火的作用不那么可怕,取而代之的是它的发光特性。图中是现存最早的魔术灯装置图,将火光转化为一个令人敬畏的火光奇观,很可能用作宣传机器,用于战争和和平时期。
这个想法借鉴了中世纪晚期实践的许多景观艺术。打薄的牛皮纸上的图纸在纺锤上无限循环。透过半透明介质照射的光源将阴影投射到墙壁上,被带有强大标志的塔所遮蔽。参观者被引导通过一系列门进入一个梦幻世界的迷宫。该结构很可能是为了赞美代表王子或领主个人的宏伟住所。
《Magia Naturalis(自然魔法)》是那不勒斯学者 Giambattista Della Porta 的主要著作,于 1558 年首次出版四册,然后于 1586 年出版二十册。这是他一生中收集到的奇异现象和信仰的汇编,他试图通过以自然主义的理由或通过经典文学参考使这些魔法现象合理化,因此这不是一本魔法书,而只是在科学还处于起步阶段的一本自然奇观的选集。
在17册中描述了如何在一个密室中创造一个不存在之物的方式。而这个魔术在19世纪重生为“佩珀尔鬼魂效应”。
作为天主教徒,勒内·笛卡尔(René Descartes)面对着一个巨大困难:如果心理功能都可以通过躯体的机械活动得到解释,那么灵魂还存在吗?
为了给自己的理论找到坚实的起点,笛卡尔决定采用普遍怀疑的方法,将原本相信的东西逐个审查,最后剩下的就是确定无疑的答案。他逐一对上帝的存在、感觉的可靠性及躯体的存在进行了怀疑,直到发现他无法否定自己正在思考。因为当他怀疑时显然在思考,这是逻辑上的必然。于是他提出自己的第一条原理:“我思故我在(Cogito, ergo sum)。”即通过思维活动,确认有一个在思考的“我”存在。
立足于此,笛卡尔展开了他的身心二元论。他认为这个从事思考的“我”就是灵魂。灵魂是一种非物质的实体,如同幽灵般居住在物质的躯体中。它借助脑中的松果体接受感觉,并用意志的活动指挥躯体。
在笛卡尔的想象里,物体发射或者反射的光线进入眼睛,被放大镜(晶状体)折射和聚焦后,在小荧幕(视网膜)上呈现一副倒立的、缩小的、但却完整无缺的图像,从而被人脑感觉到。
在这个“笛卡尔剧院”里,我们可以想象灵魂像一名观众,注视着脑内的屏幕,外界的刺激投映在屏幕(松果体)上。我们以为看到的是世界,实际上看到的却是世界的映像。
Athanasius Kircher 在 1646 年出版的《光与暗的伟大科学(Ars Magna Lucis et Umbrae)》一书中描述了一个光影艺术装置——暗箱(“camera obscura” 字面上即为“dark room”)。
“暗箱”由一个盒子或容器组成,光线通过一个小孔进入其中,并将图像投射到对面的墙上。图像将被颠倒和颠倒,但其比例将被保留。。在托勒密、海瑟姆、罗杰·培根、佩卡姆、莱昂纳多、约翰·开普勒等人的论文中,对暗箱的实验在透视传统中仍然很突出。
幻灯是一种光学设备,是电影摄影机和幻灯机的始祖,1659 年在克里斯蒂安·惠更斯(Christiann Huygens)的手稿中首次出现。该设备由一个带有多个透镜的暗室和一个固定有彩绘玻璃板的移动支架组成,图像用油灯照亮,上部有一个烟雾出口,可防止图像失去亮度。构图根据投影角度和组成部分的数量而有所不同:全景(360º)、多景图、立体景图等。例如,通过改变亮度和应用彩色透明度,可以在不同的情况下想象相同的风景。
皇家学会策展人罗伯特·胡克(Robert Hooke)在《显微摄影(Micrographia)》描述了通过显微镜看到的各种人造和自然物体,在序言中他呼吁增强感官:“关于感官,接下来要注意的是用仪器来弥补它们的缺陷,就像在自然中添加人造器官…看到,所以这不是不可能的,但是可能会发现许多机械发明来改善我们的其他听觉、嗅觉、味觉和触觉。”
18 世纪中叶,在德国莱比锡,咖啡店老板约翰·格奥尔格·施罗普弗(Johann Georg Schröpfer)开始在经过改建的台球室举办降神会(Séance Show),到了 1760 年代,他已经将自己转变为一名全职表演者,使用精心制作的效果包括鬼魂的投影,结合了特效、魔术、音乐、烟雾投影和使用致幻药物来创造降神会,创造令人信服的精神体验。
保罗·桑比(Paul Sandby)的《魔灯(Literna mágica)》收藏于大英博物馆收藏,从画作中可以看到图像技术复制的新艺术收藏产品的趋势:一位资产阶级艺术收藏家在画作上挂了一块白布,展示了他通过魔灯投射的绘画收藏。
在凡尔赛宫,Edmé-Gilles Guyot通过将鬼魂投射到烟雾上来生成鬼魂清晰形象,并于 1769 年撰写了《Nouvelles Récréations mathématiques et physiques》对实验进行了描述,被许多人认为是法语中第三大最重要的魔法书籍,其中对视觉错觉和表演魔术背后的理论进行了详细描写。
幻影术(Phantasmagoria)源自希腊语φαντασμα phantasma(幽灵)+ αγορευειν agoreuein(公开发言),是18 世纪后期在法国发明的一种改进型的魔灯的鬼魂表演,在整个 19 世纪在欧洲大部分地区(尤其是英国)广受欢迎。
Paul Philidor 在 1789 年创造了可能是第一个真正的幻影术表演,结合了降神会技巧和投影效果,他的表演在 1793 年的柏林、维也纳和革命时期的巴黎取得了成功。
这是一种用于剧院、游乐园、博物馆、电视和音乐会的幻觉技术。1863 年,发明家亨利·德克斯( Henry Dircks)出版了《THE GHOST! AS PRODUCED IN THE SPECTRE DRAMA, POPULARLY ILLUSTRATING THE MARVELLOUS OPTICAL ILLUSIONS OBTAINED BY THE APPARATUS CALLED THE DIRCKSIAN PHANTASMAGORIA : BEING A FULL ACCOUNT OF ITS HISTORY, CONSTRUCTION, AND VARIOUS ADAPTATIONS》其中详细描述了Dircksian Phantasmagoria 技术,这种技术是用来让鬼出现在舞台上的。他试图将他的想法推销给剧院,这个方案要求完全重建剧院以支持这种效果,但由于成本太高导致最后没有成功 。
同年晚些时候,德克斯在皇家理工学院设立了一个展位,约翰·佩珀尔(John Pepper)看到后意识到可以修改该方法,使其易于融入现有的剧院。佩珀尔在查尔斯·狄更斯(Charles Dickens)的《着魔的人(The Haunted Man)》中首次展示了这种效果, 并取得了巨大的成功。德克斯最终将其联合专利的所有财务权利签署给佩珀尔,尽管佩珀尔多次尝试将功劳归功于德克斯,但佩珀尔鬼魂效应的头衔仍然存在。
几个世纪以来,剧院都有上演鬼魂的理由。使鬼魂出现的早期尝试包括活板门、坡道和小车,它们可以使人物看起来像失重地出现在场景中。
佩珀尔鬼魂效应消除了所有的绳索、滑轮和活板门。观众观看带有各种物品的舞台或房间。在指令之下,幽灵般的物体似乎在房间中消失或突然出现,或者房间中的物体神奇地变成不同的物体。
效果是通过小幅度倾斜的玻璃板实现的。 基本的技巧是一个舞台被特别安排成两个房间,一个是人们可以看到的或整个舞台, 另一个是隐藏在侧面的“蓝色房间”。玻璃板(或有机玻璃或塑料薄膜)放置在主房间的某处,其角度反映了蓝色房间朝向观众的视野。一般是把蓝色房间布置在舞台的一侧,舞台上的盘子绕着它的垂直轴旋转45度。必须小心使玻璃尽可能不可见,通常将下边缘隐藏在地板上的图案中,并确保光线不会从其反射。当主房间的灯光明亮而蓝色房间的灯光昏暗时, 无法看到反射的图像。当蓝色房间的照明增加时,通常主房间的灯光会变暗以使效果更加明显,反射变得可见,蓝色房间内的物体似乎出现在稀薄的空气中。
1890年,心理学家乔治·斯特拉顿(George M. Stratton)在布雷斯劳大学冯特心理实验室开始了他的双眼视觉实验。在这些实验中,他发现自己在几天内适应了对环境的新感知,在定期反转他的眼睛看到的图像之后。为此,他戴了一副倒置的护目镜,眼镜颠倒和左右颠倒图像。斯特拉顿在他的右眼上戴着这副眼镜,白天用一块补丁盖住左眼,晚上睡觉时蒙着眼睛。最初的动作很笨拙,但适应新环境只花了几天时间。
斯特拉顿在接下来的几年里尝试了实验的变体。首先他戴了八天眼镜,回到伯克利。第一天他感到恶心,倒置的风景感觉不真实,但到了第二天,他自己的身体姿势就显得很奇怪,到了第七天,一切都变得正常了。摘下眼镜后,一种陌生感又回来了,虽然整个世界都直直地往上看;他发现自己应该用左手伸出右手,反之亦然。
然后他在户外尝试了这个实验。他还尝试了另一个实验来破坏触觉和视觉之间的心理联系。如图所示,他在那里戴着一套挂在马具上的镜子允许并强迫他从上方看到自己的身体。他发现这些感官在三天内以类似的方式适应了。他的解释是,我们通过一段时间的联想学习在视觉和触觉之间建立了联系。[61]在某些时期,视觉和触觉之间的脱节让他觉得他的身体好像不是他的触觉和本体感觉告诉他的地方。这种由改变但正常的感官知觉引起的出体体验在他批判性地处理这个问题时消失了,专注于脱节。
弗兰克·鲍姆(L.Frank Baum)在一部科幻小说《万能钥匙》(the Master Key)中用“Character Marker”这个词首次描述了增强现实的概念。其中的主角,是一个名叫罗布的男孩,意外地产生了电力恶魔,承诺在三周内每周赠予他三份礼物。在第二周,恶魔给了他“角色标记”,一副独特的眼镜。恶魔向罗布解释: “当你佩戴它们时,你遇到的每一个人,都会在额头上标上一个字母,表明他或她的性格。好人将带有字母“G”,邪恶将带有字母“E”。明智的人将被标记为“W”,而愚蠢的人将被标记为“F”。那种会在他们的额头上显示一个“K”,而残忍的会在他们的额头上显示一个字母“C”。如此一来,你就可以一目了然地确定你所遇到的所有人的真实本性。”
然后罗布向恶魔询问更多信息。恶魔告诉他,事实上,这些品质本质上都是电的。“善良、智慧和善良是自然的力量,创造了性格,”他解释道。“因此,人们并不总是为不良品格负责,因为他们是在不知不觉中养成的。正如我所解释的,所有角色都会发出特定的电振动,这些电波会集中在镜片中并呈现给佩戴者的目光。”
传播学专用术语,最早由美国政论家李普曼(Walter Lippmann)在其所著的《公众舆论》一书中论及。由于定义中具备了对现实环境的信息加工,故暂时放置于本梳理中,再做讨论。
拟态环境有如下特点:一方面,拟态环境不是现实环境“镜子式”的摹写,不是“真”的客观环境,或多或少与现实环境存在偏离。另一方面,拟态环境并非与现实环境完全割裂,而是以现实环境为原始蓝本。
平视显示器(HUD)是从反射器瞄准器演变而来的,这是一种二战前用于军用战斗机的无视差光学瞄准器技术。向反射器瞄准器添加基本信息的第一个瞄准器是陀螺瞄准器,它投射空气速度和转弯速率修改的十字线,以帮助引导枪击中移动目标(偏转飞机枪瞄准)。随着这些景点的发展,添加了更多(和更复杂)的信息。HUD 很快就展示了计算出的射击解决方案,使用空速和攻角等飞机信息,从而大大提高了飞行员在空战中可以达到的准确度。
现在被称为平视显示器的早期例子是英国 AI Mark VIII 空中拦截雷达的投影系统,该雷达安装在一些英国蚊式夜间战斗机(De Havilland Mosquito night fighters)上,在原型工作之后,Mark VII 和 VIII 雷达被开发到生产阶段,TRE于 1942 年初向 EKCO 下达了1000套的初始订单,这些装置于 1942 年底开始交付,并首次成功拦截和射击1943 年 1 月记录了一架德国飞机的坠落事件。在战争期间,EKCO 制造了大约 5000 套 Mark VIII 装置和相关的测试设备。
美国电影摄影师和发明家莫顿·海利希(Morton Heilig)在 1955 年的一篇题为“未来电影”的论文中描述了他对多感官影院的愿景。
Sensorama(Morton Heilig采访)
1957 年,海利希建造了一个名为 Sensorama 的沉浸式、多感官、机械多模态(Multimodal)影院的原型,并制作了五部短片在其中放映。1962 年 8 月 28 日,Heilig 获得了“Sensorama 模拟器”的美国专利(专利号:3050870) 。本发明被认为是虚拟现实中最早的功能性成果之一。
尽管Sensorama Simulator商业化失败,在1960 年,莫顿·海利希又开发了一种立体电视设备,旨在以便携式形式供个人使用,该设备可以连接到用户的头部。Telesphere Mask由光学单元、电视管单元、耳机、放电喷嘴组成,设计为个性化设备,可以根据个人的舒适度进行调整。
1965 年,在DRAPA(美国国防高等研究计划署)工作的期间,伊凡·苏泽兰(Ivan Sutherland)及其计算机科学专业的学生 Bob Sproull、Quentin Foster 和 Danny Cohen公布了一个系统——达摩克利斯之剑(The Sword of Damocles),该系统被认为是第一个具有三维跟踪功能的头戴式显示系统。
达摩克利斯之剑:增强现实的幻想装置
该装置由立体显示系统组成,显示来自计算机程序的输出,该程序根据用户的动作进行刷新,确定用户正在观看的位置并投影单视场线框图像,使其看起来像一个立方体漂浮在半空中。该系统的大部分连接在佩戴者头顶的天花板上,因此该系统获得了“达摩克利斯之剑”的绰号。
由于显示系统是部分透明的,使得用户并没有完全与周围环境隔绝,因此该系统被称为增强现实技术的先驱。
1967年,贝尔直升机公司(Bell Helicopter)的休伯特·厄普顿(Hubert W. Upton)设计了一种可穿戴计算机作为唇读辅助工具,并在6月14日至17日的聋人语音分析辅助会议上发表《聋哑人的言语分析辅助工具(Speech-Analyzing Aids for the Deaf)》。
使用高通和低通滤波器,系统将确定口语音素是摩擦音、塞音、浊擦音、浊塞音还是简单浊音。安装在普通眼镜上的 LED 发光以指示音素类型。例如,当一个音素发出声音时,玻璃底部的 LED 会亮起,看起来好像说话者的喉咙在发光。
Hubert W. Upton-CicbxuO0qDM_1
基于这项 LED 定位的增强现实形式,贝尔直升机公司开展了早期的基于相机的增强现实系统,厄普顿将头戴式显示器与红外摄像机相结合,将随着飞行员头部移动而移动的红外摄像机安装在直升机的底部,使军用直升机飞行员的视野与摄像机的视野相一致,能够在夜间的崎岖地形中安全着陆。
1968年鲍德里亚在列斐伏尔(Henri Lefebvre)的指导下完成了博士论文《物体系(The System of Objects)》,其中揭露了物的功能性被符号化及对物的消费被对符号的消费所接替的事实。
1970 年代,美国计算机艺术家迈伦·克鲁格(Myron W. Krueger)在威斯康星大学麦迪逊分校和康涅狄格州曼斯菲尔德市的康涅狄格大学工作,开发了一系列他称之为“人工现实”的体验,GLOWFLOW、METAPLAY 和 PSYCHIC SPACE 的项目是他研究的进展,最终促成了 VIDEOPLACE 技术的发展,它首次允许用户与虚拟对象进行交互。
VIDEOPLACE 创造了一个围绕其用户的人工现实 ,两个人在不同的房间里,每个人都有一个投影屏幕和一个摄像机,他们能够通过屏幕上的“共享空间”中的投影图像进行交流,并对他们的动作和轮廓做出实时反应,而不受使用头戴式显示器或手套的阻碍。
Myron Krueger 介绍 Videoplace
对于《星际迷航》系列的长期观点来说,全息甲板是一个讲故事的装置,就像节目的许多其他方面一样,并且只在叙述范围内表现一致。其最明显的功能是为星际飞船的船员提供娱乐和消遣,因为他们通常会花费数月或数年的时间执行任务。娱乐可以有多种形式,人员可以编写自己的全息节目。例如,用户可以经常光顾酒吧、成为全息小说中的角色、从事极限运动以及与全息角色约会和发生性关系。
全息甲板的概念起源于1968 年,当时Gene Roddenberry为《星际迷航:原始系列(Star Trek: The Original Series)》第三季在企业号上提出了“模拟户外休闲区(simulated outdoor recreation area)”的想法。这个想法从未实现,可能是因为预算限制。这个想法后来被用于星际迷航:动画系列剧集“实用小丑(The Practical Joker)”,这是全息甲板的第一次出现,然后被称为“娱乐室” 。
“超真实”一词最早出现于《象征交换与死亡(Symbolic Exchange and Death)》一书,用来描述一种非现实性的“拟真”(Simulation)原则:“现今整个系统都被不确定性淹没了,所有真实都被符码和拟真的超真实所吞没。替代过时的现实原则,拟真原则开始统治我们。”
WearComp 1 由史蒂夫·曼(Steve Mann)于 1980 年制造的头戴式设备,将许多设备拼凑在一起创造视觉体验。它包括一个用于无线通信和共享视频的天线。
发明家和企业家 Dan Reitan 发明了基于增强现实的天气、新闻和体育图形技术以及专有的通信网络和卫星副载波馈送,以提供尖端的新闻、天气和体育广播电视自动化技术,与 Midwest Communications 首席执行官 Jim Rupp 和 WCCO Cable 总经理 Bill Craig 合作。Reitan 构建了定制的卫星路由器设备来桥接专有网络,并发明了 WCCO 天气频道,这是一个非常成功的基于增强现实的全自动 24x7 天气频道。
世界不是平面的,因此随着我们的技术开始从屏幕后面溢出到物理世界,它与它在三个维度上的交互变得越来越重要。SLAM 是 Simultaneous Localization And Mapping 的缩写,也称为CML (Concurrent Mapping and Localization), 即时定位与地图构建,或并发建图与定位。由于刚刚开始增强我们周围的物理世界,视觉 SLAM 目前非常适合在未知环境、房间和空间中进行跟踪。
SLAM的一项开创性工作是(Randall C. Smith)和(Peter Cheeseman)于1986 年发表的《对空间不确定性的表示和估计的研究(On the Representation and Estimation of Spatial Uncertainty)》。
首字母缩略词 SLAM 是在 1995 年首次出现在ISR中的论文“自主导航车辆的本地化”中创造的。
最初汽车上的HUD是采用战斗机上淘汰下来的技术,只能显示有限的信息,如车速、温度等,并且颜色单一。
在将 Hughes 与其已成立的 Delco Electronics 部门合并后,美国通用汽车公司下令新成立的 GM Hughes Electronics Corporation 为其汽车开发 HUD。
1988 年 5 月,首款车用 HUD 在奥兹莫比尔分部生产的 Oldsmobile Cutlass Supreme Convertible Indy 500 Pace Car 中亮相,其中 50 辆提供给特定客户。
随后在 1990 年推出的第五代(1988-1997)Oldsmobile Cutlass Supreme 成为第一款配备平视显示器的量产车。
VPL Research 是一家由杰伦·拉尼尔(Jaron Lanier)于 1984 年创立的公司,他通常被认为是创造虚拟现实一词的人,该公司开发了范围广泛的虚拟现实硬件和软件、包括开发此类应用程序的编程语言:
1989 年6月7日,在旧金山举行的 Texpo 电信展(Texpo Telecommunications Show)上,由 VPL Research 开发的 EyePhone 和 DataGlove 使人们能够在计算机创建的环境中查看和移动物体。
EyePhone 最初的问题源于 1980 年代技术的局限性。InfoWorld 1990 年的一篇文章解释说,头显每秒只能产生 5 或 6 帧,比当时普通电视机每秒 30 帧的速度要慢得多。价格也是继续试验的主要障碍——整个 EyePhone 系统,包括运行它所需的计算机,成本高达 250,000 美元。
除了价格之外,笨重的头戴式显示器在消费者层面上没有意义:它们穿起来不舒服,而且看起来很傻。尽管“虚拟现实”在 1990 年代初期是计算机技术的流行词,但这些限制导致投资者失去兴趣并转向当时新兴的移动技术领域。
Jaron Lanier 介绍 EyePhone
Mark Weiser 发表在 1991 年 9 月《科学美国人( Scientific American)》(66-75页)的文章《21 世纪的计算机(The Computer for the 21st Century)》中提出了普适计算的想法:在这个世界中,大多数日常物品都嵌入了计算设备。
尽管增强现实技术不断发展,但到目前为止,增强现实的名称还没有达成一致,它并没有成为一个真正的话题。直到 1992 年,波音研究员汤姆·考德尔(Thomas P. Caudell)和他的同事大卫·米泽尔(David Mizell)发表了《增强现实:平视显示技术在手工制造过程中的应用(Augmented reality: an application of heads-up display technology to manual manufacturing processes)》才创造并描述了“增强现实”一词:“该交互界面通过平视(透视)显示头戴设备(我们称之为“HUDset”)结合了头部位置感应和空间识别系统, 该技术用于通过运行当前任务所需的信息来“增强”用户的视野,因此我们将该技术称为“增强现实”(AR)。”
1990年,他们被要求想出一个替代昂贵的图表和标记设备的方法用于指导工厂车间的工人,以简化 777 喷气式客机组装布线的复杂过程:每位员工们有一张带有详细装配图的示例图版,在参考此表工作时,员工将沿着 20-30 英尺板上的钉子穿线和捆扎电线。换句话说,员工在笨重的示例图版和复杂的技术流程之间来回扫视。
考德尔和米泽尔于是便设计了一个辅助飞机布线系统,通过头戴式显示器将每架飞机的特定接线图显示在多用途、可重复使用的材料上,使得组装变得更加容易,从而全面缩短了生产时间,这些增强现实内容可以通过计算机快速轻松地更改,机械师再也不需要手工重新改造或者制作示例图版。
美国发明家路易斯·罗森伯格(Louis Rosenberg)在德克萨斯州圣安东尼奥市布鲁克斯空军基地的美国空军阿姆斯特朗实验室开发了虚拟帮助系统(Virtual Fixtures),这是美国空军使用的第一个增强现实系统。
由于 3D 图形在 1990 年代初期速度太慢,无法呈现逼真的空间配准增强现实,该设备利用连接到两个物理机器人手臂的平视显示器,由用户佩戴的完整上身外骨骼控制,当用户移动手臂时,在手臂应该在的地方看到机器人手臂。该系统还采用计算机生成的虚拟覆盖,以模拟物理障碍、场地和指南的形式,旨在帮助用户执行真实的物理任务。
美国符号科技公司(Symbol Technologies,Inc.)经过几年的努力,于1992年正式推出名为PDF417的二维条码,二维码从此宣告诞生。
二维码是用在平面分布的黑白相间的几何图形,按一定规律来记录数据符号信息的方式。在编码过程中,采用计算机二进制编码“0”、“1”的概念,使用若干个与二进制相对应的几何形体来表示文字的数值信息,然后通过光电扫描设备或者图形输入设备对信息进行识别以实现信息的自动处理的过程。
二维码自诞生以来,目前全球已经存在250多种二维码标准,比较常见的有QR码(Quick Response Code)、DM码、GM码与CM码等。
二维码主要的功能在于提供稳定的快速的识别标识。在增强现实中,除了识别以外,二维码还兼职提供易于跟踪和对于平面进行定位的功能。因为这个原因,AR中的二维码比一般的二维码来说模式显得简单以便于精确定位,但二维码的非自然人工痕迹很大得局限了它的应用。
1993 年 6 月 26 日,美国空军将第 24 颗 Navstar 卫星送入轨道,完成了一个由 24 颗卫星组成的网络,称为全球定位系统(Global Positioning System,正式名称为“NAVSTAR-GPS”)。1993 年 12 月,全球定位系统具备初步运行能力。
1993年7月,哥伦比亚大学的史蒂夫·费纳(Steve Feiner)、布莱尔·麦金太尔(Blair MacIntyre)、多雷·塞利格曼(Dorée Seligmann)发表了名为《基于知识的增强现实(Knowledge-Based Augmented Reality)》的讲演。
用户会在一只眼睛上佩戴 Private Eye 显示器,当双眼睁开观看现实世界时,会产生叠加效果。KARMA 会将线框原理图和维护说明覆盖在正在修理的东西之上,例如,激光打印机顶部的图形线框将解释如何更换纸盘。该系统使用连接到物理世界中物体的传感器来确定它们的位置,整个系统与台式计算机相连。
超真实是由鲍德里亚提出的一个后现代概念,它不是对真实的背叛,而是指一种比真实更真实的超级真实状况,它是真实在类象和再生状况下的变形,是模型的重现。
鲍德里亚认为我们通过大众媒体所看到的世界,并不是一个真实的世界,甚至因为我们只能通过大众媒体来认识世界,真正的真实已经消失了。对于很多人来说,虚构的现实已经严重地干扰了大家对真实世界的直接判断和理解,不知不觉中大家习惯了接受和操纵“仿拟”信息,生存于大大超过自身感受的感性世界中,这便造成了真实的消失和“超真实”的统治,所以我们所看见的是媒体所营造的由被操控的符码组成的"超真实"世界。
鲍德里亚在《海湾战争并未发生》一书中宣称海湾战争并未发生过,因为早在战争开始前美国就在电脑上无微不至的演练了这场战争,电脑战争成了“正本”,而真正的海湾战争反而成了“摹本”,大众看到的海湾战争只是没有发生的”虚拟媒介之战”。
在 1994,研究人员保罗·米尔格拉姆(Paul Milgram)、竹村治雄(Haruo Takemura)、内海彰(Akira Utsumi)和岸野文郎(Fumio Kishino)发表了《增强现实:现实-虚拟连续体上的一系列显示(Augmented Reality: A class of displays on the reality-virtuality continuum)》,其中讨论了一个称为现实虚拟连续统一体的概念,以三个维度进行分类:世界知识的范围、再现保真度和存在隐喻的范围,代表了完全物理世界或真实环境与完全数字世界或虚拟环境之间的全部技术可能性,包括所有通过计算机生成的图形改变现实的当前技术以及尚未开发的技术。
在一个连续体中,相邻部分几乎无法区分,但极端情况却大不相同。因此,各种术语的确切界限并不是百分百清楚。混合现实一词涵盖了真实和虚拟对象在单个显示器中组合的任何环境。
虽然最初这个概念是为了解决混合现实(Mixed Reality)和那个时代的显示技术,但最初的框架仍然非常有用。他们将混合现实环境定义为“现实世界和虚拟世界对象一起呈现……”的环境。他们对混合现实的定义是一个涵盖虚拟和增强现实技术的总称。
现实虚拟连续统一体主要包含四类元素:
自 1994 年推出以来,现实虚拟连续统一体已被大量用于虚拟现实和增强现实的研究与开发。
介导现实(Mediated Reality)是史蒂夫·曼(Steve Mann)发表的《Mediated Reality》一文中创造的术语,用于描述虚拟信息与来自现实世界的视觉信息的混合。
介导现实是用户可以调节所有视觉输入和输出的技术过程,包括将虚拟对象覆盖在“现实生活”上,以及移动或以其他方式改变视觉对象”。
并自1994年起,史蒂夫开始佩戴网络摄像头。从 1994 年到 1996 年将近 2 年,他几乎每醒着一分钟都戴着移动摄像头和显示器。两台设备都连接到他的网站,在线访问者可以看到史蒂夫正在看到的内容,并向他发送将显示在他的移动显示屏上的消息。
1995年5月,贝尔通信研究所(Bell Communications Research)的本杰明·贝德森(Benjamin B. Bederson)发表了《音频增强现实:自动化导游原型(Audio Augmented Reality: A Prototype Automated Tour Guide)》,该原型根据用户所在的位置将音频叠加在现实世界上。
1996年,麻省理工学院媒体实验室的萨德·斯塔纳(Thad Starner)与布拉德利·罗德斯(Bradley J. Rhodes)发表了《记忆代理:一个持续运行的自动化信息检索系统(Remembrance Agent A continuously running automated information retrieval system)》。记忆代理通过显示可能与用户当前上下文相关的文档列表来增强人类记忆,与大多数信息检索系统不同,记忆代理连续运行而无需用户干预,它以屏幕底部的一行摘要的形式建议可能与用户当前情况相关的信息源。用户可以轻松监控信息,但不会分散手头的主要工作。
记忆代理与隐私问题
1996年,贾科莫·里佐拉蒂团队将新发现的细胞称为“镜像神经元”(mirror neuron)。该团队宣称,运用经颅磁刺激技术,经重复实验证明,猴子和人类的大脑在接收刺激的区域,磁场会影响神经元的电特性;而运用不同的刺激方案,经颅磁刺激技术可以抑制或干扰其活动。按照实验团队的描述,镜像神经元不仅会在猴子或人类做出动作时产生兴奋,而且在看到别的猴子或人做类似的动作时也会兴奋。
镜像神经元的发现,意味着人类等高等动物的行为、语言的神经生理学基础得以确立,可以非常简单的解释人是如何通过模仿、联系然后发展出更为复杂的行为和语言,从而实现进步或学习。
在 19 世纪下半叶,当截肢者因工业化社会中的事故和内战遗留问题而获得关注时,关于幻肢(Phantom,由美国神经学家塞拉斯·威尔·米切尔(Silas Weir Mitchell)在1871年创造)的讨论与对超自然现象的探索密切相关在精神降神会的文化实践中,旨在恢复丢失的身体。甚至“幻肢”这个词也涉及到了当时的 Phantasmagoria 文化(一种使用改良的魔灯的表演形式)。
1996年8月22日,加州大学圣地亚哥脑与认知中心主任、神经科学家维拉亚努尔·拉马钱德兰(V. S. Ramachandran)和(D. Rogers-Ramachandran)发表了《使用镜子诱发的幻肢通感(Synaesthesia in phantom limbs induced with mirrors)》,实验使用“镜盒手术”,它能够在视觉上通过健康的肢体再现了幻肢的动作,从而解除幻肢体验。
以丧失了左手的患者为例,为了实现这一点,患者必须用右手复制幻肢左手的感觉运动或位置,以使镜像和内部动态身体图像对齐。通过这种方式,镜子恢复响应运动命令的视觉反馈,并创造了整体的错觉。在这些条件下,大脑不再相信瘫痪,因为它看到手与大脑要求它移动的运动命令一致地移动。此外,握紧造成的疼痛可以得到解决,因为所看到的与身体形象之间的相容性使患者能够更好地控制幻肢的运动。当大脑发出信号让手松开时,它现在可以看到手松开自己,说服自己这确实发生了,从而使疼痛消失。
使用镜子来复活幻肢
1997年8月,休斯研究实验室(Hughes Research Laboratories)的罗纳德·阿祖玛博士(Ronald T. Azuma)发表了《增强现实调查(A Survey of Augmented Reality)》,文章第一次探索了医疗、制造、可视化、导航、娱乐和军事领域对增强现实的应用,为增强现实提供了现代定义:3D 虚拟对象被实时集成到 3D 真实环境中(3-D virtual objects are integrated into a 3-D real environment in real time)。
1997年10月13日,史蒂文·费纳(Steven Feiner)教授带领两位博士生布莱尔·麦金太尔(Blair MacIntyre,现为乔治亚理工学院交互计算学院教授)和托拜厄斯·霍勒(Tobias Höllerer,现为加州大学圣巴巴拉分校计算机科学教授)发表了论文《旅行机器:3D 移动增强现实系统探索城市环境(A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment)》。
该论文介绍了第一个使用带有透视头戴式显示器的GPS 位置跟踪的户外增强现实系统:一个装满电子产品的背包的 Touring Machine让用户可以在哥伦比亚大学的校园中导航, 通过头戴式显示器将建筑物和学术部门的名称覆盖在建筑物上,并允许用户在无线连接到互联网的手持显示器上选择一个部门来浏览其网站。
1st & Ten 图形系统,美国专利第6141060号,标题为《一种在橄榄球比赛现场视频中添加第一个位置的图形指示的方法和装置(Method and Apparatus for Add a Graphic Indication of First Down to a Live Video of a Football Game)》,由斯坦·霍尼(Stan Honey)发明,是一种通过接收对应于所述第一击球的橄榄球场上的位置的指示,感测第一场视野数据,将第一击球的图形指示添加到橄榄球比赛的实况视频中的方法使用模式识别的视场传感器,在第一时间确定直播视频中与第一个向下位置对应的第一位置,为直播视频实时创建第一条直线图形,并添加第一个图形到基于第一个位置的实时视频。
1998 年 9 月 27 日,ESPN 在报道巴尔的摩乌鸦队(Baltimore Ravens)与辛辛那提孟加拉虎队(Cincinnati Bengals)的比赛期间,体育广播技术公司 Sportvision 首次使用了1st & Ten 图形系统,一条亮黄线叠加在屏幕上,在不干扰比赛的情况下显示向下和距离,因此球迷可以在每次比赛中轻松识别第一个向下标记的位置。
今天,几乎每一个 NFL 和大学橄榄球电视转播都使用1st & Ten 图形系统。
在解决左右问题的同时,增强现实及其实际应用在很大程度上仍处于保密状态。为了让 AR 进入日常使用,一些技术进步是有序的。
在硬件方面,内存芯片和相机正在不断发展。软件方面,1999年第一个开源 AR 软件库由奈良科学技术学院的Hirokazu Kato and Mark Billinghurst创建,华盛顿大学人机界面技术(HIT)实验室后来向公众发布了ARToolKit,该库由增强现实组件组成,直到今天仍在使用,托管在 GitHub 上,自 2004 年以来的最后一次公开发布的下载量已超过 160,000 次。该公司于 2015 年被 Daqri 收购,并于同年 5 月重新发布了 ARToolKit,再次开源。
南澳大利亚大学莫森湖校区高级计算研究中心的可穿戴计算机实验室的博士(Wayne Piekarski)、布鲁斯·托马斯教授(Bruce Thomas)基于id Software于1996年发布的第一人称射击游戏 (FPS) Quake所免费提供的源代码,制作了增强现实游戏的第一个原型ARQuake,它基于现有的免费游戏引擎,并使用物理道具以及用户的真实世界运动与游戏引擎进行交互,使渲染的显示与现实世界的显示大致对齐。
在游戏中,玩家必须在各种迷宫般的中世纪环境中找到自己的出路,同时使用各种枪支与各种怪物作战,收集物品并完成目标。
西蒙·朱利尔(Simon Julier)、约汉·巴洛特(Yohan Baillot)、马可·兰萨戈塔(Marco Lanzagorta)、丹尼斯·布朗(Dennis Brown)、劳伦斯·罗森布鲁姆(Lawrence Rosenblum)在北约军事系统信息处理技术研讨会上发表了《战场增强现实系统(BARS: Battlefield Augmented Reality System)》,其中描述了与哥伦比亚大学合作开发战场增强现实系统 (BARS) 来研究移动增强现实。该系统由可穿戴计算机、无线网络系统和跟踪式透视头戴式显示器 (HMD) 组成。通过将图形叠加到用户的视野中来增强用户对环境的感知。图形与实际空间对齐。例如,建筑物的增强视图可以包括其内部图标的线框平面图,以表示报告的狙击手位置和相邻街道的名称。
2001年,罗伯·库珀(Rob Kooper)和布莱尔·麦金太尔(Blair Macintyre)创造了RWWW浏览器,并在2003年发表了《浏览真实万维网:在 AR 信息空间中保持对虚拟信息的感知(Browsing the Real-World Wide Web: Maintaining Awareness of Virtual Information in an AR Information Space)》中描述了该项系统。
理查德·W·德沃尔(Richard W. DeVaul)是低影响可穿戴 UI(low-impact wearable UI)的主要研究员,实际上在 Google X 工作,大概是在 Project Glass 上。在 2000 年代初期,德沃尔在麻省理工学院媒体实验室(Mit Media Lab)开发了记忆眼镜(Memory Glasses),这是一种基于 MIThril 平台的可穿戴的、主动的、上下文感知的记忆辅助设备。该项目的主要目标是生产一种有效的记忆辅助和提醒系统,以低于有意识感知阈值的方式呈现。
这款眼镜是麻省理工学院“Borglab”研究人员开发的计算机系统的一部分,他们正在研究“可穿戴计算”:穿在衣服上的设备,旨在解决日常问题。MIThril,指的是《指环王》中佛罗多·巴金斯所穿的轻型盔甲——实际上是三台独立的计算机,它们连接在一件类似于商店中出售的假羊毛服装的背心内。
2005 年,瑞典林雪平大学(Linköping University )的安德斯·亨利森(Anders Henrysson)将 ARToolKit 移植到 Symbian 平台,结合 OpenGL ES 图形库,创建了一个名为增强现实网球的协作游戏。
这是智能手机增强现实游戏,在诺基亚 6600 和 6630 手机上运行。游戏中,玩家会看到一个虚拟网球场叠加在有识别标记的纸上。
2007年,亨利森发表了描述这项技术的论文《为手机带来增强现实(Bringing Augmented Reality to Mobile Phones)》。
审判之眼(THE EYE OF JUDGMENT)是第一款室内增强现实游戏。这款游戏由SCEJ公司开发,运行于索尼游戏机PlayStation3。整个游戏由1个棋盘、30多张卡牌和摄像头组成,玩家在争夺棋盘控制权时轮流放牌,每张卡牌都用“网络代码”加密,玩家可以通过选择一张卡片并将“网络代码”放在下一代摄像机前,让他们各自的角色叠加在现实画面上进行战斗,获胜者是第一个占领九个方格中的五个方格的玩家。
澳大利亚数字媒体研究中心(DMRC) 的让·伯吉斯教授(Jean Burgess)在2012年发表的《iPhone 时刻、Apple 品牌和创意消费者:从“可破解性和可用性”到文化生成(The iPhone Moment, the Apple Brand, and the Creative Consumer: From “Hackability and Usability” to Cultural Generativity)》,参照广告业和个人计算历史上对于“时刻”的公开表述,第一次将2007年6月29日iPhone的发布定位为文化技术史上的一个“时刻”。
文章认为 iPhone(以及现在的 iPad)背后的设计理念、营销和商业模式已经重新定义了支撑消费技术行业软件和界面设计的可用性价值,标志着数字文化的历史和充满争议的未来发生了显着转变。
新西兰惠灵顿动物园(Wellington Zoo)的亲密接触展览旨在与动物面对面。奥克兰广告公司 Saatchi & Saatchi 与人机界面研究中心 Hit Lab NZ 和 The Hyperfactory 合作,开发了软件来呈现“增强现实”,其中图片可以在手机上进行交互。该软件可用于具有实时视频功能的手机。手机用户将手机对准打印盒,即可看到长颈鹿、猎豹或马来亚太阳熊的 3D 模型——所有这些动物都可以在动物园看到。这则广告刊登在一份主要报纸上,吸引了 75 万人,使惠灵顿动物园的游客人数增长了 32%。
Wellington Zoo AR
Mobilizy GmbH 是商业增强现实领域的早期先驱,于2009年7月发布了三个组件:
现实虚拟连续统一体很好地指导了如何混合真实和虚拟元素,但如果是修改现实元素呢?
可穿戴计算机可以帮助人们获得增强感官、完美记忆力、以及与世界互动,但也可以帮助您感知到完全由您自己选择的世界,史蒂夫曼称之为“弱化现实”:改变你对周围事物的视觉和听觉感知。
将虚拟图像叠加到现实世界的框架上是相当“容易”的,而如何删除存在的东西显得很困难,这个难题可以分为两部分:
弱化现实
可以参照2010年德国伊尔梅瑙科技大学的两名学生 Jan Herling 和 Wolfgang Broll开发的图像合成器观察弱化现实。
二维码支付是由支付宝正式引入中国市场的。2011年,支付宝由于淘宝的存在,已经占据了国内线上网络支付市场的绝大部分市场份额,而国内线下支付市场则主要是以银联为标识的银行卡占据的。
但二维码在国际上已经不再是陌生事物,在很多场景中得到了应用,比如日、韩等二维码使用比较成熟的地区,在公交、地铁站的虚拟商场,已经可以通过二维码实现付款支付。在这种大环境中,支付宝于2011年7月1日,正式推出了手机APP二维码支付业务,进军国内线下支付市场。
伴随着二维码业务的发展,支付宝的线下用户与商户的数量逐步增加。其他支付机构在看到支付宝的成功经验后,也逐步跟进,增加了二维码的相关应用。2013年8月5日,腾讯正式发布微信5.0版本,开启了微信二维码支付模式。
现有二维码的支付产品模式主要可以分为两类,一类是用户与商户交互模式,另外一类是用户与用户间的交互模式。其中,用户与商户的交互模式又可以分为两类,一类是用户主扫模式,一类是用户被扫模式。
谷歌眼镜(Google Project Glass)是由谷歌公司于2012年4月发布的一款“拓展现实”眼镜,它具有和智能手机一样的功能,可以通过声音控制拍照、视频通话和辨明方向,以及上网冲浪、处理文字信息和电子邮件等。Google Project Glass主要结构包括,在眼镜前方悬置的一台摄像头和一个位于镜框右侧的宽条状的电脑处理器装置,配备的摄像头像素为 500 万,可拍摄 720p 视频。2015年1月19日,谷歌停止了谷歌眼镜的“探索者”项目。
2012 年 6 月,帕尔默·拉基(Palmer Luckey)在 E3 上介绍了 Oculus Rift 和 Oculus Touch 控制器的概念和第一个Oculus Rift 原型。2012 年 8 月 1 日,该公司宣布了 Kickstarter 活动以进一步开发该产品,最后筹款活动筹集了 240 万美元,是该活动旨在实现的 250,000 美元的十倍。这笔资金使 Oculus 能够推出两种预生产模型供开发人员使用。。
“火车站视频漫步(Alter Bahnhof Video Walk)”由 Janet Cardiff和George Bures Miller 为2012 年第 13 届德国卡塞尔文献展(dOCUMENTA)制作的多媒体作品。在 Kassel Kulturbahnhof 的场地内散步时,可以使用便携式媒体播放器,将现实与虚拟、过去和现在混合在一起,被称为“实体电影(physical cinema)”。
谷歌的 Project Tango 是在智能手机级别发生的硬件、软件、传感器和云计算结合发生的创新类型的一个很好的例子。Tango 于 2014 年 6 月推出,是一个将计算机视觉、图像处理和高级视觉传感器引入智能手机的平台。Tango 可以执行运动跟踪、深度感知和区域学习,以帮助了解周围的世界。
2015年1月21日,微软在总部雷德蒙举行了Windows 10发布会,主题是“Windows 10,下一篇章”,推出了HoloLens混合现实眼镜,和Windows 10结合。微软并为将其描述为增强现实技术或娱乐设备,而是直指“下一代计算设备”。
2010年,斯坦福大学的埃文·斯皮格尔、鲍比·墨菲和雷吉·布朗推出了一款名为“Picaboo”的应用程序。在2011年,他们将公司更名为 Snapchat。截至2012年底,该应用的日活跃用户已超过 100 万。该公司与他们的观众一起继续发展。到 2015 年,Snapchat 已成为社交媒体平台的主打产品,也是青少年的必备社交工具。
2016 年,Snapchat 更新了自我介绍:“Snap Inc. 是一家相机公司”,并申请首次公开募股寻求筹集多达 40 亿美元的资金,这将使其估值在 250 亿至 350 亿美元之间。虽然对于来Snap的概念,来自评论家、用户和品牌的评论褒贬不一的,但 Snap 无疑已经在增强现实历史中赢得了一席之地,今天所认为的移动 AR 很大程度上要归功于 Snapchat。
虽然基于增强现实的可穿戴技术尚未引起业内许多人的期待,但 Niantic 的一款游戏改变了一切。随着 2016 年 7 月 Pokémon Go 的发布,增强现实变得炙手可热。地理定位和非常基本的 AR 为移动游戏增加了新的交互水平。
玩家能够在他们的世界中定位(通过 GPS)、捕捉、训练和战斗虚拟神奇宝贝。到上市第一年年底,该游戏拥有超过 7.5 亿用户。到 2017 年底,它是跨平台最畅销手机游戏的第 9 位,以及 Android 上的第 1 位。尽管存在多种技术问题,包括由于极端使用导致的服务器经常性中断以及原始的 AR 技术,但这种增长仍然存在。
虽然 Pokémon Go 的受欢迎程度有所下降,但它无疑为人们对 AR 的巨大期望铺平了道路。但为了让增强现实扩展到游戏之外,需要额外的软件更新。
2017 年是主要 AR SDK 和 AR 构建器发布的一年。苹果发布了 ARkit,谷歌紧随其后发布了 ARcore。两者都使应用内 AR 对 iOS(套件)和 Android(核心)上的开发人员来说更加可行。到目前为止,AR 应用程序中都存在 AR。这些 SDK 基本上允许在任何支持摄像头的应用程序中使用 AR。
Facebook 推出了 AR Studio 和 Snap, Inc. 推出了 Lens Studio,这两种构建器工具分别为希望创建 AR 体验以在每个平台上分发的用户提供。这些进步使 AR 从专门的应用内体验变成了几乎可以在任何地方使用的技术。
Magic Leap 终于宣布将于 2018 年发布其头戴式显示器和 Lumin SDK,而 Magic Leap 对外声称自己的 AR 解决方案在增强现实历史中发挥了重要作用。
在1994年的《Mediated Reality》之后,史蒂夫·曼(Steve Mann)、汤姆·弗内斯(Tom Furness)、于远(Yu Yuan)、杰伊·伊奥里奥(Jay Iorio)、王梓欣(Zixin Wang)在2018年8月20日发表了《所有现实:虚拟、增强、混合 (X)、介导 (X,Y) 和多介导现实(All Reality: Virtual, Augmented, Mixed (X), Mediated (X,Y), and Multimediated Reality)》,其中提出了“现实”的分类:虚拟、增强、混合、介导等,以及来自自然本身的一些新的“现实”,即扩展概念以超越合成现实,更包括现象学现实。
而介导现实通过混合以及修改现实得以更进一步,这种对现实的改变引入了第二个轴,称为“媒介性”。文章并进一步提出多介导现实作为一种多维多感官的介导现实,它不仅包括我们五种感官的基于交互式多媒体的现实,还包括其他感官(如感官声纳、感官雷达等),以及我们的人类行为。这些额外的感官使用合成联觉映射到我们的人类感官。这使我们能够直接体验真实的但不可见的现象(例如波传播和波干涉),以便我们可以看到无线电波和声波以及它们如何与物体和彼此相互作用。
多介导现实是多维、多模态、多感官和多尺度的,也是多学科的。
微软的 HoloLens 赢得了一份为期两年、价值 4.8 亿美元的合同,它本质上是战斗机飞行员平视显示器的步兵版本的回归,结合了先进的夜视技术和增强现实技术(很像谷歌眼镜),以叠加瞄准十字准线,与士兵的武器无线连接,以准确显示它将射击的位置——以及佩戴者视野范围内的战术数据。其他方面将监测士兵的健康状况,记录路边炸弹爆炸的爆炸超压等情况,以协助医疗。
过去一个世纪为解决完美 3D 显示问题(对许多人来说是技术圣杯)的工作耗费了数千名发明家、工程师和研究人员的职业生涯。这些独创的创造者已经想出了无数出色的技术来达到这个圣杯——用 3D 矩阵中的激光点燃空气,在剧烈振荡的压板上发射高速投影仪,以及用声波在光的波长范围内调制像素。
由2017年由大约十几名工程师组的 Looking Glass Factory 成立了,该公司可能是当时世界上唯一的全息显示公司。在花了几年时间在各种系统上构建数百个原型并进行数千次实验后,在2018 年通过最初称为“Holopad”的系统跨过了技术门槛,在二维显示中添加一种非常特殊的方式控制光的方向性解决了群体可视、无需眼镜、真正的 3D 动态显示问题。
在解决了核心发明问题之后,由光场技术驱动的全息显示器开始以指数级降低的成本和提高质量的曲线下降,这要归功于三个尾风:
Scatter 公司创造了“体积电影(Volumetric filmmaking)”一词来定义VR 制作的媒介、新兴创意工具的前景以及与我们社区共同想象的可能性。 并于 2018 年推出了季度活动 Volumetric Filmmakers NYC,将 Depthkit 作为体积电影项目的核心,可以将真实人物和逼真的表演置于交互式 3D 世界中。
英国公司 Scape Technologies 成立于 2017 年,当时正在开发一种基于计算机视觉的“视觉定位服务”,让开发人员能够构建需要远远超出 GPS 单独功能的定位精度的应用程序。在2019年,它了一个城市规模的AR映射解决方案,并承诺为移动设备带来持久性的云存储数字资产。
病毒式传播在 2019 年并不像看起来那么容易,需要在概念和讲故事方面表现出色,才能使作品在网上疯狂。柏林数字艺术家约翰娜·雅斯科夫斯卡(Johanna Jaskowska)使用以新方式执行的新技术成功地创造了想法。
作为第一批可以在 Instagram 上传自创滤镜的艺术家之一,她的社区在 Instagram 上拥有超过 83 万粉丝。每个人都想将自己的脸浸入她的美容 AR 滤镜中。
行为艺术家玛丽娜·阿布拉莫维奇(Marina Abramovic)与 Magic Leap 公司合作,h创作了作品《生命(The Life)》时长达19分钟,通过32个摄像头、容积摄影的方式记录了Marina Abramovic在5米范围内的行为表演,在MR的技术背景下,行为艺术的表达并非与肉体之间的接触有关,而是通过心理意识到对方,以承认对方的存在,即该艺术体验归因于意识而非肉体。
2021年,苏黎世联邦理工学院的穆罕默德·卡里(Mohamed Kari)、 托比亚斯·格罗斯-普彭达尔(Tobias Grosse-Puppendahl)、 路易斯·法尔科内里·科埃略(Luis Falconeri Coelho)、 安德烈亚斯·芬德(Andreas Fender)、 大卫·贝思格(David Bethge)、 莱因哈德·舒特(Reinhard Schütte)和克里斯蒂安·霍尔茨(Christian Holz)发表论文《TransforMR:构成替代混合现实的姿势感知对象替换(TransforMR: Pose-Aware Object Substitution for Composing Alternate Mixed Realities)》其中描述了一种用于移动设备的视频透视混合现实系统,通过基于不同 3D 对象姿态估计器、实例分割、视频修复和姿势感知对象渲染,实现使用 3D 姿势感知对象替换现实物体以创建有意义的混合现实场景。
对于以前未见过和未准备好的现实世界环境,TransforMR 实时组成混合现实场景,使虚拟对象呈现被替换的现实世界对象的行为和环境属性。这产生了有意义的、连贯的和人类可解释的场景,今天的增强技术尚未实现的一种情况。
6 月 15 日,索尼半导体解决方案公司(以下简称:SSS)发布软件开发工具包(SDK)“ToF(Time of Flight飞行时间)AR”。采用了其与索尼集团公司研发中心联合开发的独创 AI 处理技术,提供了一下功能加速增强现实的开发:
2022 年才刚刚过半,谷歌、苹果、Snap 和 Facebook 等公司已经发布了重大公告。今天,当我们写这篇文章时,正在书写增强现实的历史。与 L. Frank Baum 所描述的“字符标记”相去甚远,现代 AR 的机遇仍在展开。能够混合数字环境和真实环境的概念已经从幻想变成了日常发生的事情。但我们才刚刚触及表面。随着可穿戴设备的开发、相机和计算机的定期和指数级改进,以及计算机视觉和机器学习等技术创造了复杂的编程结果,但它还只是我们看到的成功商业化的技术的代名词,和司南、幻术、Phantasmagoria似乎越走越远了吗?难道艺术家、设计师、开发者只能一步步依循技术公司的商业路径吗?我们迫不及待地想看看接下来会发生什么。