AR的现状和未来

1. AR的现状

要判断AR行业的未来,就要先调研AR的现状。目前的AR行业有很多技术还未成熟,有不少积极推动技术发展公司和组织,特别是在国外,(在社交媒体上)非常活跃。一些头部公司在解决关键技术问题的同时,开始整合资源,搭建平台,致力于构建未来的虚拟世界。

Unity

Unity3d是一款流行的游戏开发工具,全世界超过60%的VR/AR内容都是用Unity开发。所有的AR平台,比如ARkit、ARCore、Hololens、亮风台都有Unity API的开发包,帮助开发者很容易就能制作AR应用,无需了解矩阵投影、视觉跟踪、SLAM等抽象的概念。在最新的Unity2018版本中,他们提供了ARFoundation功能,把ARKit和ARCore整合成一套接口,开发者只需要开发同一个AR场景,就能部署到苹果和安卓设备上。


AR的现状和未来_第1张图片
ARFoundation架构

Vuforia

Vuforia是做2D图片识别和跟踪的一家公司,国内对AR的认知大多就是“识别图片呈现虚拟内容”,Vuforia功不可没,很多中文AR教程都是基于Vuforia来做的。市面上绝大部分AR应用都是基于Vuforia的。Vuforia和Unity无缝集成,可以在Unity中直接勾选一个选项就能激活Vuforia的功能。


AR的现状和未来_第2张图片
2D图片识别

Leap Motion

Leap Motion 的核心技术是手势识别,他们有一个小盒子,嵌入了深度摄像头来捕捉手掌和手指的动作。前些年在互动多媒体上用得多,现在他们推出了一个north-star北极星开源计划,把盒子装在了一个透明屏AR头盔上,实现了非常科幻效果。传言苹果两次收购Leap Motion都遭到了拒绝。


AR的现状和未来_第3张图片
Project North Star演示

Niantic

他们是16年大火的pokeman go的开发商(任天堂是运营商),他们在多人AR技术(数百万用户共享状态和交互)是全球领先的。 另外一些其他AR关键技术,比如遮挡也做得很好。


Pokeman Go

三星

三星在11月7日举行的开发者大会上,公布了名为Project Whare Cloud的AR云服务,以及一款新AR头显。Whare可以让多个AR开发者、设备和用户查看共享信息和现实世界中叠加的虚拟物体。图中是和wacom合作的应用,用户不仅可以在现实世界中绘图,同时可以根据应用程序对周围环境的解释插入3D内容。


whare演示

Google

一些大公司开始成为整合者。Google利用早些年在另一个研究增强现实的Tango项目上积累的经验,在苹果公司推出ARKit后几个月推出了ARCore,主要是只利用手机相机, 实现设备移动跟踪(利用陀螺仪+电子罗盘+加速度计+相机视觉信息+SLAM算法),环境理解(识别水平和垂直平面),光估计(估算光源的角度和强度)。1.2版本推出了云锚点(实现多人AR)和图片锚点(识别跟踪图片),后面版本强化了这两个功能。另外还和国内的小米、华为合作,让新上市的设备直接支持ARCore。


AR的现状和未来_第4张图片
ARCore Demo

今年Google推出了一个叫VPS,visual positioning system虚拟定位系统的项目。他们通过Google地图积累的数据,根据手机的位置、朝向和看到的画面,直接定位手机在世界中的三维空间位置。但是还未公开SDK,应该还在很早期的阶段。


AR的现状和未来_第5张图片
visual positioning system

Apple

苹果公司对AR的重视程度大家都应该知道。去年推出ARKit开发工具,让全球几十亿的设备拥有了AR的能力,1.0版本功能和ARCore类似,设备移动跟踪、平面识别、光照估计,跟踪很稳,可以大范围移动设备。ARKit1.5版本有了图片识别跟踪功能和Face ID人脸定位。ARkit 2.0版本推出了另外一个重要功能叫AR world map,把环境以点云的方式存储,可以实现特定物体和特定环境识别定位,内容持久化以及空间多人共享。


AR的现状和未来_第6张图片
arkit多人游戏

去年传出消息苹果一次招聘70位地图团队相关的岗位,应该是为了推出AR地图做准备。AR地图不仅可以让终端用户使用,对于自动驾驶也非常重要。


AR的现状和未来_第7张图片
AR地图导航

分析师估计2020年苹果会推出消费级的AR眼镜。这肯定会引爆AR行业,很多国内的手机厂商会跟风做眼镜。
AR的现状和未来_第8张图片
iGlasses

微软

MR混合现实,可能是微软为了突出HoloLens优势提出的概念。AR和MR的界限很模糊,通常把能理解环境、非移动端的称为MR。


AR的现状和未来_第9张图片
VR AR MR 区别

微软16年就推出了Hololens,到现在来看都还是综合实力最强的AR头盔,可见微软在这方面技术积累有多深。传言2代今年会推出,但现在还没有什么消息。


AR的现状和未来_第10张图片
HoloLens

后来应该是Hololens太贵不好卖,微软又和几家电脑厂商(dell asus 三星 hp acer)共同推出了混合现实头盔,价格两三千人民币。这个设备比较像VR头盔,但前面有两个摄像头可以实现6自由度的跟踪,不需要定位器。
AR的现状和未来_第11张图片
mixreality headset

Magic Leap

Magic Leap就是那个融资20多亿美元搞了7年,被吐槽做了个视频特效宣传片骗钱的公司。今年推出了他们的首款AR眼镜 Magic Leap One。


AR的现状和未来_第12张图片
magic leap one

令我惊讶的不是他们的眼镜,而是他们软件的思考和规划。
前不久他们有个会议,公布了后续开发的计划,包括虚拟角色社交,AI智能助手,基于web技术的sdk,城市级的AR等。看了后感觉他们是真正创造未来的人,感兴趣的可以去看看。


AR的现状和未来_第13张图片
magic leap roadmap

会议中,他们创始人提到有4个北极星(公司会一直追寻的目标)
AR的现状和未来_第14张图片
magic leap 的4个北极星
  • sensoryfields computing:制作模拟人类五感感知世界的设备,更小更快更适合佩戴,magic leap one只是初代产品。
  • life stream:根据你的个人状态(情感,位置,想法)广播给环境,环境展现个性化的内容给你,人本身应该有属于个人的数据集。
  • human centered AI:根据你的数据集训练一个AI,可以把这个AI当做你的朋友或者是助理。就像银翼杀手2049中男主的虚拟女友。
  • magicverse:不限制于房间,有许多城市级的虚拟层。不仅是静止的数字世界,而是不断更新、移动、有情感的数字世界。

2.AR的未来——AR云

都说AR的未来是人人戴着AR眼镜,我的看法有些不同,眼镜如果没有杀手级应用和足够的内容,是无法取代手机的,可能只会像智能手表一样作为一个补充设备。对于2C的硬件来说,要先有杀手级应用,硬件才卖得出去,就像Switch上的马里奥奥德赛和塞尔达荒野之息作为保驾大作。而AR云将会是这个AR领域的杀手级应用。

AR云是什么?——整个世界的数字化

AR云

《失控》的作者凯文凯利提到未来的互联网3.0是整个世界的数字化。

一个基于现实世界的 AR 云实时3D 地图将会成为计算领域中最重要的软件基础架构,远比 Facebook 的社交蓝图或 Google 的排名指数更有价值。简而言之,随着 AR 云的出现,整个世界将成为一个可以共享的空间屏幕,实现多用户之间的共同参与协作。——《福布斯》Charlie Fink

为什么需要AR云?

为什么需要ar云? 至少有以下三点:

  • 单机=>在线: 2010年我的第一台智能手机,只能玩单机斗地主,而现在都是上网和真人斗。目前的AR体验就像单机游戏,需要互连,需要协作,需要分享
  • 下一代搜索引擎:通常会将AR云视为搜索的进化,未来会很多人会在AR世界的旅途中寻找惊喜。 AR云不会像传统的搜索那样,将请求写入搜索引擎并接收一些html文本,而是为我们提供所需的视觉信息。这一切都是为了在正确的时间在正确的环境中接收正确的信息 —— 甚至不需要主动查询。
  • 商业价值:在多个领域具有巨大的商业价值:游戏 自动驾驶 智慧城市 社交 展示 广告 交通导航 零售 文物 制造 教育 旅游...

怎样实现AR云?

  • 真实世界1:1的数据集:首先需要构建一个与真实世界一致的数据集,包括现实世界的位置坐标信息、场景视觉特征等,并且能够现实中的变化进行更新和扩展;一开始的数据采集,可以引导用户扫描空间后上传,也可以像谷歌街景车那样去拍照,或者用无人机去飞。
  • 快速定位:终端设备要可以在任何有网络的地方接入这个云,并能快速准确定位。通过设备的GPS、陀螺仪、加速度计、电子罗盘、摄像头视觉的信息,获取点云和图片上传到云端,和云端的点云匹配,返回位置角度信息。
  • 可交互的虚拟内容:可以在任意终端内呈现这些数字化的可交互的内容,并能够实时更新,还能支持不同设备之间的体验和交互。
  • 多人在线互动:支持几十亿的用户在任何时间地点创建和体验AR信息,并实时同步和共享状态。

虚拟世界可以有多个版本,就像有很多个游戏服务器,用户可以根据自身的需求去选择。在基础物理和数字世界上,可以选择进入不同用途的AR云中(交通、能源、健康、社交、娱乐……)


AR的现状和未来_第15张图片
MagicVerse

实现AR云所需解决的难题

  1. 点云存储问题:之前研究扫描一个1313米3米的展厅,扫描的点云有50兆的大小,如果是存储整个昆明市区(330平方公里),垂直高度50米的点云,需要1630TB的空间,纯买硬盘都要花40万人民币。更别说其他服务器配件的花费,要有足够的钱去烧。需要对数据结构进行优化。
  2. 联网延迟掉线:传统的网络游戏,解决联机掉线问题都要花很大的功夫,一个互动多的游戏,服务器最多只能承载1万人。在AR世界如果出现延迟漂移,虚拟和现实不同步,可能会非常奇怪。
  3. 用户体验(UX)问题:例如,如果场景中没有预先存在的地图数据,用户需要花费相当多的时间预先扫描场景以收集图像数据。则需要引导用户扫描场景,这对于用户体验来说非常不好。另外跟踪非常容易丢失,一旦丢失又需要重新引导用户去扫描场景。AR云应用需要良好的用户体验设计。
  4. 缺乏内容:当前的AR应用多以工具为主。还缺乏能让用户成瘾的内容,像抖音那样。只有用户一直使用,才能不断捕获、聚合和保存密集点云,让云变得更完整。 之前的pokemango很成功,需要创造更多类似pokemongo的多人互动的内容。
  5. 其他技术不够成熟:另外一些其他关键技能也不够成熟。需要更自然更智能的语音交互,需要AI技术去处理或者是生成庞大的数据,需要低延迟高速5G网络,需要区块链去激励人们创造和交易AR虚拟内容,需要物联网让现实世界更加信息化,和AR云产生协同。

国内外的AR云

国外:已经有不少公司在弄AR云,除了前面提到整合者的三星、谷歌、苹果、Magic Leap之外,还有数十家初创公司,其中至少有3家公司6dai,blue vision, ubiquity6拿到了融资。一部分公司已经开放AR云相关的服务。
国内:还没有公布做AR云的公司。亮风台、百度、商汤、华为、easyAR等公司提供的AR服务依旧还是云识别、SLAM、人脸美妆这些功能。相比人工智能,国内对增强现实的关注度要低很多,导致了资本、研发、人才的相对缺乏,没有什么公司在做AR云。目前已有的AR云平台还是提供图像识别功能的云,和前面说的AR云有很大的不同。我觉得最有可能在秘密研发的是百度,他们有无人车项目,有百度地图,我还搜到一篇17年关于三维地图的发明专利。
不过国内的互联网产品一向是超过国外的,相信关键技术一旦解决,很快就能用上社会主义的AR云了。

相关阅读推荐

《AR 的搜索引擎》 — AR 云 https://weibo.com/ttarticle/p/show?id=2309404234422663698371#_0
《为何没有AR云的AR应用举步维艰?》http://www.ejbc.net/information/view/369
《一点关于AR云的思考和分享》 https://zhuanlan.zhihu.com/p/44079215

你可能感兴趣的:(AR的现状和未来)