一文带你深度透析AR眼镜的工作原理(上)

写在前面

最近几年互联网的发展,相信大家对AR也不能并不陌生了,并且国内市场的AR眼镜厂商鱼龙混杂,真正成熟的可应用于真实场景的AR眼镜设备少之又少;

可能你会提问,为什么可用的AR眼镜少之又少?

来来来,接下来让你像你了解手机一样认识下AR眼镜的技术构造。

在了解AR眼镜之前,你得先知道什么是“增强现实”。

增强现实,用很官方的语言就是:真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。读完这句话你可能会想象到之前看到的科幻电影里的情景,其实差不多是那个意思。再来一张草图你可能会更清楚。

按照我的官方描述就是:你带上AR眼镜不仅能看到虚拟物体,也能看到你周围的真实环境。

好了,了解完什么是增强现实,我们就可以真正去打开AR眼镜的知识世界了。

先来个AR眼镜的构造图,想必会让你从整体上对AR眼镜有个初步的定位。

AR眼镜的构造

AR眼镜主要分为四大模块:摄像头、CPU处理中心、光学模组、架托;

摄像头

AR眼镜上一般会存在多个摄像头,并且每个摄像头之间的分工是不一样的,主要功能有三方面,一是用于提供基于视觉的跟踪定位(SLAM)的图像采集,二是进行交互手势识别,三是日常的拍照和录像;

这里重点讲解下什么是SLAM,大家百度之后的官方解说是“即时定位与地图构建,或并发建图与定位”,SLAM应用的场景有很多,比如自动驾驶、AR/VR、机器人、三维重建等;其框架主要分为:

其工作流程大致为

传感器读取数据后,视觉里程计估计两个时刻的相对运动(Ego-motion),后端处理视觉里程计估计结果的累积误差,建图则根据前端与后端得到的运动轨迹来建立地图,回环检测考虑了同一场景不同时刻的图像,提供了空间上约束来消除累积误差。

那么SLAM在AR眼镜中怎么工作的呢?首先是通过深度摄像头将你视角内的环境传递给AR眼镜,SLAM通过图像识别、定位分析与AI计算,将当前环境进行三维重建,构造一个三维真实世界,以增强AR眼镜对现实环境中相互作用的理解能力,为AR眼镜赋予了复杂环境感知力和动态场景适应力。再明白点就是,你知道这个是堵墙,不能过去,AR眼镜也知道这个物体不能穿透过去。

关于SLAM更深层的技术实现问题,就比较深入了,涉及各种算法,在这里就不详细叙述了,大家可以自行百度了解。

核心交互

手势交互、语音交互、眼球追踪等,裸手交互有望成为AR的核心交互方式之一,微软的HoloLens2,已经实现了裸手交互,但是国内AR眼镜普遍采用的还是隔空敲物的交互方式,通过识别指定的手势对眼前的虚拟物体进行交互操作,目前市场上AR眼镜最常用的手势为两种分别是确定和返回两个手势;这也是AR眼镜解放双手的优势所在。


确定手势  

                                                                                                返回手势

CPU处理大脑

作为AR眼镜的大脑所处理的图像和数据分为以下几个方面:

(1)AI:从AR的输入、虚实融合和输出,整个一条链都需要AI的支持。

(2)云计算和大数据:由于AR结合的是现实,所以它的计算量和数据量会呈现指数级上升,它的发展也离不开云计算和大数据的支持。

(3)计算机视觉:比之于PC和手机,AR的本质是信息呈现方式的升级,由二维升级到三维。不管是AR的输入,还是输出,都离不开计算机视觉。

(4)核心的交互技术:包括手势交互、语音交互、眼球追踪等。目前来看,裸手交互有望成为AR的核心交互方式之一。典型公司:leap motion、科大讯飞等

(5)操作系统:AR要成为下一代计算平台,就必须有自己的操作系统,就像windows之于PC,ios/安卓之于手机一样。操作系统的好处就在于给产业上下游一个行业标准,利于行业发展。典型公司:微软、谷歌。

光学模组

主要负责AR眼镜的成像工作,AR不同于VR,虽然它们的近眼显示系统都是将显示器上的像素,通过一系列光学成像元件形成远处的虚像并投射到人眼中。不同之处在于,AR眼镜需要透视(see-through),既要看到真实的外部世界,也要看到虚拟信息,所以成像系统不能挡在视线前方。这就需要多加一个或一组光学组合器(optical combiner),通过“层叠”的形式, 将虚拟信息和真实场景融为一体,互相补充,互相“增强”。这也是AR眼镜的一个难点所在;

目前市场上主流的AR设备基本都采用光波导光学方案,光波导是引导光波在其中传播的介质装置,又称介质光波导,光波导的材质轻薄,中间层薄度可达1-10微米,并且对于外界光线的穿透特性极高,因此被认为是消费级AR眼镜的必选光学方案,价格自然而然也就上去 。

目前随着市场上的主流AR眼镜HoloLens2、Magic Leap One等对光波导技术的采用和设备量产,以及AR光学模组厂商DigiLens、耐德佳、灵犀微光等行业技术不断升级,国内更多的AR眼镜制造厂纷纷采用了光波导技术方案。

AR设备的光学显示系统通常由微型显示屏和光学元件组成。概括来说,目前市场上的AR眼镜采用的显示系统就是各种微型显示屏和棱镜、自由曲面、BirdBath、光波导等光学元件的组合,其中光学组合器的不同,是区分AR显示系统的关键部分。

微型显示屏,用来为设备提供显示内容。它可以是自发光的有源器件,比如发光二极管面板像micro-OLED和现在很热门的micro-LED,也可以是需要外部光源照明的液晶显示屏(包括透射式的LCD和反射式的LCOS),还有基于微机电系统(MEMS)技术的数字微镜阵列(DMD, 即DLP的核心)和激光束扫描仪(LBS)。

目前市面上的AR光学显示系统的分类和产品有:

那么通过光波导怎么去实现所谓的既要看到真实的外部世界,也要看到虚拟信息的这个需求呢?

在AR眼镜中,最重要的就是“全反射”,即光无论通过任何角度投射进来,都要完全反射,做到光在传输的过程中无损失无泄漏;那么想完成这个,需要满足两个条件:

(1) 传输介质比周围介质高的折射率(如图2所示n1> n2);

(2) 入射角需要大于临界角γc。

光机完成成像过程后,波导将光耦合进自己的玻璃基底中,通过“全反射”原理将光传输到眼睛前方再释放出来。这个过程中波导只负责传输图像,是独立于成像系统而存在的一个单独元件。

关于更多深层次的光波导的技术原理,在本文就不详细解说了,想继续了解的朋友可以网上搜一下,有很多的。

总结

目前市场上微软的HoloLens2无论在交互、SLAM定位、三维数据处理、散热等表现是非常好的,但是由于操作系统的限制和价格的高昂,在我了解的工业行业使用的不是很多;国内AR眼镜做的比较好的有联想的晨星AR-G2、影创action one、亮风台的AIARG200等;国内眼镜的设计大多将处理中心与眼镜分离,以保证处理中心的数据处理能力、续航能力和散热能力,这样做的比较好的一点就是减轻头部的重量;但是缺点就是通过数据线连接,在工人作业过程中避免不了挂到,接头接触不良情况发生。

关于市面上AR眼镜的详细解析,我们放在下部进行详细解说,欢迎大家及时关注了解!

本文作者

史增涛,主要关注AR/VR,工业数字孪生、AI等领域、喜欢技术型公司以及由技术驱动的产品型公司。

本文原创发布于,未经许可,禁止转载

你可能感兴趣的:(一文带你深度透析AR眼镜的工作原理(上))