苹果在AR/VR领域的现状与预测

说明

苹果目前对AR投入巨大,CEO库克也多次表示看好AR的发展.

但是苹果的AR到底会怎么走?
一个只能识别平面的ARKit框架能让开发者开发出受用户欢迎的app么?

VR设备苹果还做么?

下面我们从收购,专利等方面谈谈苹果的AR/VR之路.里面带有我的一些不负责任的猜测,大家轻喷.

收购的相关技术公司

一般来说,苹果收购有以下特点:

  • 收购技术后,不再对外提供单独产品,而是整合进iOS系统中;
  • 往往会改变原始用途,与iOS系统结合后提供新的体验;
  • 平均在2~3年后应用到iPhone上,一般不超过4年;

公司名称 主要技术与产品 收购时间 整合现状 未来动作预计
Polar Rose 人脸识别技术 2010-9 持续整合到普通相机,人像模式中 ---
PrimeSense 3D视觉技术,深度感知,结构光识别,动感捕捉摄像头 2013-11 小型化后,2017年用于iPhoneX前置摄像头 ---
LinX Imaging 移动设备多摄像头画质增强,成像拼接,深度感知 2015-4 2017年后置双镜头深度信息 ---
Metaio Metaio Creator:增强现实创作工具,计算机视觉的识别和跟踪算法 2015-5 ARKit的基础,2017年发布.平面识别,光照估计,6自由度 2018年升级ARKit更多识别类型
Perceptio 允许手机独立辨认图像,而无需依赖任何外部数据库 2015-10 --- 2018年升级ARKit更多识别类型
Faceshift 动作捕捉公司,实时抓捕人的面部,然后用动画表现出来,依赖于PrimeSense的识别技术 2015-11 2017年用于iPhoneX前置摄像头的Animoji ---
Emotient 表情跟踪识别技术,分析人类表情与感情 2016-1 2017年用于iPhoneX前置摄像头 2018年用于ARKit升级,可分析表情与感情
Flyby Media 空间感知平台:可以将信息绑定在某个地点或者建筑,只有通过扫描同一建筑才能读取这条信息 2016-1 --- 2018年用于ARKit升级,升级多人玩法
Realface 生物识别登录系统 2017-2 2017年用于iPhoneX前置摄像头人脸识别登录 ---
Senso Motoric Instruments 眼球追踪眼镜和系统 2017-6 --- 2020年用于AR眼镜
Vrvana Totem头盔:“延伸现实”设备,AR和VR结合 2017-11 --- 2020年用于AR眼镜
InVisage Technologies 量子膜:改善智能手机等受空间限制的设备的成像能力 2017-11 --- 2020年改善手机摄像头

此外,为了在地图领域增强实力,苹果先后收购了多家地图和导航服务公司,其中包括Coherent、Locationary、Embark、HopStop、WifiSLAM、BroadMap等.

预计会对以后的AR+地图玩法有帮助.

苹果公司收购列表

申请的相关专利

苹果的专利从申请到真正用在产品上,时间往往更长,往往需要4~5年,甚至7年以上.


时间 专利 描述 整合现状 未来动作预计
2006 可以容纳带显示屏的电子设备 一款能够放入手机的物理框架,并将手机屏幕放置于用户眼前,其中在用户双眼和手机屏幕之间存在着光学组件,用于接收手机屏的图像。2016年3月申请延续该专利 --- 手机VR
2011 三维物体识别技术 通过自动化的生物特征识别系统,通过曲线、点和物体轮廓等识别3D对象。这一技术将能精确的识别人脸,而不像某A系统那样,分不清真实人脸和照片的区别。 2017年用在iPhoneX ---
2014-12 激光束测绘技术 借助激光传感器以及激光束来收集特定空间内的测量数据,包括空间的形状、距离、环境对象的属性及体积等信息。 --- 2018年后手机AR,2020年后AR眼镜
2015-1 眼部追踪技术 解决“特克斯勒消逝效应”(Troxler Fading Effect) --- 2020年后AR眼镜
2015-5 柔性屏幕专利 这是一种在固体发光像素周围设计许多小孔的屏幕,可将屏幕变得又薄又柔软,以帮助 AR 应用。通过像素现实虚拟图像,同时透过小孔查看屏幕另一边的现实图像。 --- 2020年后AR眼镜
2015-6 上半身体感操作 允许用户通过摆动上半身作出多种姿势从而控制一个操作界面。 --- 2020年后AR眼镜
2015-11 基于用户目光的显示屏事件延迟 苹果提出的系统可以延迟显示屏事件,直到用户的目光看到。减轻了渲染和显示的压力。 --- 2020年后AR眼镜
2016-7 AR 显示使用到的类似光波导技术 这项技术是让图像从离轴源文件中投射出来,通过透明物质(护目镜或薄片)进入视线。 --- 2020年后AR眼镜
2016-7 AR 映射系统 这套 AR 映射系统能够利用 iPhone 的硬件将增强现实功能叠加到直播视频上。用户通过手机应用可以在一些现实场景中标记数字信息,比如街道名称、兴趣点等等,并用摄像头进行扫描。 --- 2018年后手机AR增强,2020年后AR眼镜
2016-7 裸眼3D 一种像素阵列,内建子像素和透镜结构,后者在多个不同的角度发光。 --- Mac平台
2016-10 3D投影手势 利用一种抓取的手势,一种推动的手势,一种释放的手势,还有查询,缩放,搜索,执行等,甚至更多的手势来进行人机交互。比如说,我们可以用推动的手势来点击打开一个 App 。 --- 2020年后AR眼镜
2016-11 AR 头盔专利 这项专利描述的是一种保留移动电子设备屏幕的头盔式显示屏仪器,头盔式屏幕系统以及操作方案可以让用户“配对”或“解除”。 --- 2020年后AR眼镜
2017-2 带有摄像头的可穿戴信息系统 这项技术可能会用在一款头戴显示器中,而显示器上搭载的摄像头可以接收与显示器相同视角的信息。该系统可下载有趣的内容,并用 AR 展示出来。 --- 2020年后AR眼镜
2017-3 利用景深加强人脸检测 这项专利是通过计算机视觉系统,利用专门的硬件和软件进行人脸识别,尤其是已经保存到数据库中的人脸数据。 --- 2018年后手机AR增强
2017-6 头戴式显示器 我们可以将一个可移动的电子设备放置到这个头戴式显示器上,而这个可移动电子设备几乎可以肯定是一台 iPhone 。 --- 手机VR设备
2017-8 3D手势操作 为交互式现实增强提供了设备和方法,这其中包括一个二维相机和一个三维相机,相关的深度投影机和内容投影仪,以及一个与三维相机和二维相机相关的处理器。 --- ---
2017-10 全虚拟现实(VR)套件相关 描述了动态修改图片,实时向用户展示图片和基于文字的相关数据的方法。专利申请描述的方法适用于有限视场和全景的静态、动态图片。 --- Mac平台

演进方向猜测

AR方向

从目前的收购情况和专利申请情况来看,苹果当前的主要方向还是AR,包括目前运行iOS系统的iPhone/iPad,和未来运行rOS(猜测的名字)的AR眼镜.

预计的结果是,在未来三年,继续对iOS上的ARKit框架进行增强.可改善的方面有:

  • 增强CPU和GPU,改进人工智能运行速度,提高识别速度和种类;
  • 后置摄像头添加飞行时间技术(ToF)或激光雷达(LIDAR),增强深度感知速度和精度;目前的视觉惯性里程计方式感知场景限制太多,场景太亮不行,太暗不行,运动太快不行,完全不动不行,缺少花纹不行,半透明或反光也不行;
  • 加强与地图的整合,现在的AR无法与地图关联起来,AR只能通过摄像头捕捉到的画面来感知和理解场景,对于目前的AR来说,家里的地面和市中心商业广场的地面都只是个平面,没有什么不同;
  • 允许多人AR空间联合,比如我在广场上用AR对雕塑进行了绘图,别人从其它角度用AR对着雕塑也能看到我的作品,不需要完全一样的角度进行校正.
  • 陀螺仪增强,并结合深度信息,增强SLAM( 即时定位与地图构建)能力,完善AR物体与现实物体的遮挡,碰撞关系;
  • 识别场景中的手和手势,解决AR交互问题.

三年后AR眼镜出场,由AR眼镜继续完成AR功能.


苹果在AR/VR领域的现状与预测_第1张图片
timg.jpg
苹果在AR/VR领域的现状与预测_第2张图片
timg2.jpg
VR方向

目前的VR也在研究中,包括内置手机的头戴设备(类似于cardboard盒子),和需要外部定位的头戴设备(类似HTC的vive),但这个似乎并不是重点,猜测可能是苹果认为这种方式使用体验太麻烦,限制多.

这种内置iPhone的头戴VR设备,可能只是与Apple TV配合看电影使用.虽然技术上已基本完成,但普通iPhone的LCD屏刷新率不足,iPhoneX又太贵而且刷新率目前也不支持90帧,按苹果的风格不太可能会推出.

还有一种可能,苹果现在打算将iMac pro做为VR的开发平台,所以VR头显会继续研究下去,以后可能会推出与iMac pro配套的头戴式设备来替换目前使用的Vive等产品.

综合判断,短期内VR设备应该是不会推出的,至少在AR眼镜出现前,VR设备不会出现.


苹果在AR/VR领域的现状与预测_第3张图片
timg3.jpg
AR什么时候能真正火起来?

真正火起来,需要硬件+软件+爆款内容.

  • 硬件层面:真正准备好的只有iPhoneX,前置摄像头主要针对人脸AR,后置则是平面识别+深度信息,还有A11处理器的配合.iPhone8 plus则只有后置双摄像头和CPU充份满足了AR要求.其他的A9以上CPU的单摄像头和7p的第一代双摄,效果只能说凑合,而且后续也没什么潜能可以挖掘了. X和8p的双摄还有潜力可在软件升级后发挥出来.

  • 软件层面:ARKit效果不错,但现在还是只能识别平面.人脸AR则需要iPhoneX的前置摄像头配合.所以很多人为了体验AR功能,将旧手机升级到iOS11,但只是体验一番就不再用了,毕竟目前效果还是太少可玩性不高.预计2018年ARKit会有较大升级,依托双摄和人工智能,会支持更多功能和效果.

  • 爆款内容:苹果多次重点提及了Pokemon Go,显然是还想用这个游戏来让AR再火一把,可惜大家新鲜劲儿已经过去了.WWDC2017只是吸引了程序员的注意,小demo出了不少但大作几乎没有.后来的产品发布会,战争机器这个AR游戏不错,但在国内迟迟不上架,就算买了iPhone8 plus和iPhoneX也没人一起玩啊.

综合判断,真正火起来大约是在2018年后期,iPhoneX普及+ARKit更新+AR大作打磨好的时候.

最后

总结一下:
  • 手机AR目前重点,大搞特搞;
  • AR眼镜正在研发,3年后问世;
  • VR设备投入不多,遥遥无期.

iOS上的AR技术参考:WeekWeekUpProject

你可能感兴趣的:(苹果在AR/VR领域的现状与预测)