AR云介绍:
AR是增强现实,云是指数据的存储与计算。由于AR技术的特性,在云端储存的信息包括世界坐标信息、特征点云地图等信息,然后被智能终端检索,融合现实与虚拟世界信息的一种能力。
AR云的共享,要求多名玩家共享世界坐标,每位玩家进入“共享”坐标系系统中,需要将自己的坐标系重定位到SLAM地图中,并获得正确的pose信息。接下来每一帧都要做坐标共享的事情,这种坐标同步及时发生,这个耗时即AR云同步速率,反映在用户设备上就是延迟。
例如你在广场的雕塑上创作了一副AR涂鸦,想让其他人也看到你的精美作品,就必须要用到AR云的持久化、世界坐标共享的能力;如果需要协作完成AR作品,也离不开AR云的坐标共享功能。图是Google的Just a Line的多人协作玩法。
重定位技术(Relocalization)
如果想解释清楚AR云,就一定绕不开重定位技术,多人共享世界坐标、AR内容持久化都用到的重定位技术。
SLAM技术具有World Tracking的能力,其结果是基于Feature的点云,我们称之为SLAM的地图信息。重定位技术点核心是一种特殊的搜索方法。用户的设备通过当前帧信息,搜索覆盖的物理区域的SLAM地图,以查找自己在SLAM地图中的坐标位置。
这种搜索是耗时的,对普通用户来说甚至要求有些苛刻。上传的关键帧信息,都需要在AR云端做必不可少的暴力运算,如果当前信息和SLAM的地图信息差别较大,容易导致重定位失败或不够准确。当然也是有解决方案的,可以通过数据采集、深度学习的方法增重定位的宽容度,让AR云的能力更普世。
AR云的构建
有两种数据采集的模式:
1.中心化数据采集
这种方法一般是由供应商提前批量扫描,进行地图数据收集并在云端存储,然后客户再通过重定位技术获得自己在地图中的坐标。这种一般应用与展馆、商场的室内导航,或者多人互动的营销类项目。
2.众包采集
人们活动的区域有限,通过每个用户使用自己的摄像头收集地图信息,然后再进行重定位,这样的结果就是世界地图越来越大,总是来说是一种分而化之的方式。
云定义扩展
AR云一般指在重定位技术下实现的多人互动、持久化的技术载体,广义的AR云是指和云存储、计算相关的AR内容的一种表现形式,例如云Marker,借助云端存储Marker的patt信息,将Marker的识别放到云端计算,可以突破Marker图像库的数量限制,在手机本地进行计算,中端手机Marker图像库一般不超过1000个,否则会有性能上的影响。当然也可以将Marker的跟踪解析也放到云端,这样可以带来更好的稳定性,跟踪过程实时刷新,这个就要依赖网络的低延迟,5G的普及可以解决这一难题。
其他的AR云形式还有SFM(从运动中恢复结构),即从一段运动中的视频恢复出被拍摄主题的空间三维结构,由于计算量巨大,用户上传视频到服务端进行解析,然后服务端再返回三维模型结果;这也是AR云的一种应用方式。
从应用场景规模上来区分,可以分为3个尺度层级:
1.小尺度-房间室内
AR云的的使用规模比较小,基础的AR云地图由用户自己的采集。一般可以用来做多人互动的AR游戏,也能用来做类似ARNote类的应用,记录、分享自己的生活。
2.中尺度-大型建筑
AR云所构建的地图比较大,在云端储存了较多的信息,主办方负责扫描场景并上传云端,使用者通过对环境的扫描,和云端地图比对,进行重定位。这种技术尺度级别一般用来做较大展馆或商场的室内导航,或者多人协同合作的商场影响活动。
3.大尺度-城市
这种级别的AR云,就能实现AR生活,无处不在的ARlog记录生活点滴,高信息密度的AR信息,还有个性化的空间内容,平行宇宙不再只是出现在科幻小说中;比如站在楼顶可以看到城市街景,利用AR云持久化的能力能看到城市的发展,岁月变迁、沧海桑田,尽收眼底。
AR云的两个能力:
1.时间维度-持久化
持久化的能力能解决AR体验的不可连续性,用户使用智能设备创作的信息,被点云地图的形式保存起来,当用户的智能设备再次扫描到相同的特征点,通过重定位技术,可以再次开启以往的创作内容,并且保留原内容的坐标、方向信息,这极大扩大了AR的应用场景,也是的众包世界地图信息成为可能,是一种能自激发自生长的能力。
2.空间维度-多人共享
所有参与AR体验的用户都会获得同一世界坐标,即所有参与者可以从不同角度观察同一AR物体。改变的AR玩法一直solo的局面,让社交、互动可以融入AR的之中,为AR行业注入新的血液。在游戏类目中,新增了一种多人AR游戏这一类目。
AR云能力的应用
导航
在没有GPS的情况下,依靠视觉信息定位(CPS)的一种方式。当AR信息与真实世界能严丝合缝的对齐,AR导航才有真实的应用价值,让真实世界更准确和直观的通航。
基于室内导航可做很多扩展,比如商场内的购物,门店的招牌广告等,信息以一种密度的形式准确的叠加到真实世界,从而影响人与真实世界的交互行为。
多人共享
这个能力特性可以让AR云用来做游戏体验,比如Google发布的Just a Line游戏,多名玩家可以创作同一副AR作品;也可以在营销运营类活动中使用,比如会场或商场的互动营销活动。
AR云导航的精确度高于GPS
fantasmo的示例
城市级AR云
space的示例
室内AR导航
dentreality的示例
AR互动
YOUAR的示例
AR类行业应用
placenote的示例
AR云技术局限
上述了很多AR云的技术特性,但自2017年各个技术公司或应用厂商都发布了在移动端的第一代产品,至今的产品在大众用户眼中,还都是技术尝鲜,在好奇与猎奇心驱使下去尝试,还没能形成真正的产品使用习惯,也就是说AR云还没能真正解决用户需求。
从技术层面上, AR云的技术尚未成熟,比如在做室内导航技术上,很多用户和开发者都表示想做地下车库室内导航,但至今仍没有规模化的产品可用,其中是有技术难题仍未解决的,以停车场导航为例:
1.前端程序提取停车场的特征点比较困难:
在摄像头取景的一帧内,各个地方的物体都非常类似,这种视频流素材作为构建特征地图是非常困难的,在没有GPS的帮助下,重定位误差比较大;
2.停车场的流动性:
停车场的车是流动的,人也是流动的,再次重定位的时候,会出现关键点匹配失败的情况。
当然,这些技术难题也会不断被攻克,比如未来的深度摄像头,如果产品化,对关键点的提取和跟踪会友好;AI技术的助力,可以识别3D物体,把指定的物体剔除,不再作为MAP保存,以此提高重定位的环境适应性。
AR云的总结:
现在技术还不算成熟,但从趋势上看,是符合人获取信息的趋势。AR使信息能以更高密度、个性化、精准的存在。目前主流的硬件还是摄像头,甚至仍是单目摄像头,仅靠RGB和算法来优化和识别,但以后有新的成熟赢家的加入,比如TOF,结构光等硬件更新,现在面临的算法瓶颈将不复存在。AR云技术,未来可期。
研究AR云技术的公司:
- SenseAR http://openar.sensetime.com/
- Insider Navigation http://insidernavigation.com/
- Scape https://scape.io/
- YOUar http://youar.io/demos/
- 6D http://6d.ai/
- Sturfee https://sturfee.com/
- placenote https://placenote.com/
- 8th Wall https://www.8thwall.com
- navisens https://www.navisens.com/
- contextgrid www.contextgrid.com
- ubiquity6 https://ubiquity6.com/
- blue vision https://bluevisionlabs.com
- immersal https://www.immersal.com/
- fantasmo https://fantasmo.io/
- dent reality https://www.dentreality.com/
- open ar foundation https://arcloudfoundation.org/https://gsdex.org/
- EasyAR https://www.easyar.cn