毫无疑问,开发理想的全天候AR眼镜很难,各类行业专家不止一次分析了AR硬件设计的挑战。实际上,打造一款轻量、功能强大的穿戴式眼镜,本身就是在挑战设计极限,你几乎无法满足所有的需求,不得不在分辨率、重量、散热、续航等多方面进行权衡。那么就现在的技术水平,能否开发出有价值的AR眼镜呢?办法就是根据特定应用场景去设计,不需要全能,只要将特定应用场景做好即可。
近期,AR/VR光学专家Karl Guttag在与海外博主SadlyItsBradley的访谈中就指出,目前AR光学市场面临的一个问题是,眼镜厂商、光学供应商致力于突破AR的亮度、分辨率,但实际上更高的显示配置并不是决定AR眼镜好坏的关键。相比之下,寻找AR眼镜的应用场景更加关键,因为AR的用途将决定硬件需要什么样的设计。
另外,厂商在开发AR眼镜时,考虑的是用户的需求,也就是其他人的需求。然而如果从自身出发,才更有可能找到AR的有效用途,因为比起其他人,你更了解自己。如果是为其他人设计AR眼镜这样的穿戴设备,通常目标用户很难明确,甚至可能不存在或是只有一少部分人。
在大家的预期中,AR眼镜的外形应该向雷朋墨镜那样小巧,分辨率应该媲美4K OLED电视。然而,现实中的AR眼镜更像是头盔,比如Hololens。Guttag指出,这是因为AR设计面临诸多技术局限:
上述这些挑战不按顺序排列,通常在设计AR眼镜时不仅要考虑这些问题,还会发现解决一个问题后,可能会造成其他的问题。此外,还存在光学难题:可见光的波长是固定的,而像素是光波长的整数倍。通常,AR显示系统的像素密度比VR更大,需要更多像素。相比于VR,AR更难显示出纯黑色,只能透出周围环境中的黑色。此外,AR眼镜的屏幕布局、光路比VR更复杂,不能直接将屏幕摆在人眼前面,否则会遮挡视线。另外,AR眼镜的显示模组通常比VR更靠近人眼,这意味着将需要额外的对焦系统。更重要的是,需要解决体积、功耗的问题。
Guttag认为,过于追求虚实结合的效果,可能效果并不理想,甚至同时影响AR和物理环境透视的效果。
由此可见,开发AR眼镜是一种长期、复杂的权衡过程,目前没有一个完美的方案,只能根据实际应用场景去舍取和搭配合适的配置、性能。
目前,AR在B端已经找到一些应用场景,比如军事、医疗、仓库、展厅、导航。不同的AR场景对于体验和功能有不同的需求,一些关键需求包括无手柄交互、室内外均可清晰显示的高亮度。
分辨率方面,Guttag认为40ppd(1.5角分/像素)是分辨率的一个甜蜜值,对于大多数用于已经足够(人眼视网膜分辨率为60PPD)。分辨率过低不仅画质粗糙,文字显示能力也差,不得不放大字体才能看清,但这也意味着可阅读速度变慢。而分辨率过高,实际上并不一定实用,因为显示屏尺寸会随之变大,眼镜整体变重,长时间佩戴体验感不够舒适。Meta推出的智能眼镜RayBan Stories并没有配备AR显示模块,但整机要比普通眼镜要重不少。尤其是对于全天候佩戴的AR眼镜来讲,重量的权衡非常关键。
FOV方面,Guttag认为纵向在30到40°就足够,超出这个范围可能会让人产生视觉疲劳。Magic Leap 2在此前基础上扩展了纵向视场角,不过Guttag认为AR显示区域应该更宽一些而不是更高,而且视线下方是关键显示区域,因为人眼并不常向上看,而是更容易向下看。
同时,扩大AR显示区域不仅是为了沉浸感,也是为了避免用户看到屏幕和真实环境之间明显的边界。这也是AR与VR一个明显区别,理想的VR是覆盖人眼全部可视区域,而AR则是追求将虚拟图像与周围环境融合,足够透视又足够沉浸。与此同时,AR图像需要足够清晰,显示的色彩足够纯,而不是模棱两可、饱和度低。
而对于工业、企业级AR场景,通常只需要准确的SLAM定位和清晰的AR指示就能满足需求,而且需要避免UI阻挡视线,如果AR菜单太大,可能会让人看不到自己的手,那么执行任务反而会更困难。在很多场景,AR并不需要照片级保真的画质,仅显示清晰的文字就足够有效。
尽管如此,AR行业依然在尝试解决上述挑战,一方面是害怕错过机遇,想要赶在竞争者之前突破技术局限,从而抢占市场。在人们的预期中,理想的AR眼镜应该具有iPhone的质量,并拥有强大、全面的功能,这也是AR从业者的最大愿景。
在PC、手机领域,Meta并没有自己的平台,因此Meta希望抢滩AR,打造像安卓、iOS那样的平台。Guttag认为,相比于苹果,扎克伯格似乎更相信AR/VR的未来,而苹果更像是为了顺应当下的趋势,在技术上预先打好基础,然而实际上对AR/VR硬件依然抱有怀疑。
为了“绕开”光学透视AR眼镜的技术局限,Meta等厂商开始研发基于视频透视的AR头显设计。对此Guttage认为,光学透视的一些难题在视频透视上得到很好的解决,但相比之下视频透视依然存在一些局限。
视频透视AR的优点:
视频透视AR缺点:
Guttag表示:大家觉得视频透视是一项简单的技术,其结构和原理比光学透视更简单,但实际上视频透视也存在技术局限。比如用摄像头透视真实环境其实并不理想,因为通常VR头显的摄像头并不具备人眼级别的HDR、动态变焦,所以透视图像和肉眼看真实环境有差距。而且摄像头的位置和人眼IPD并不匹配。
另外,也可以通过调暗背景来降低AR透光率,从视觉上增强AR的饱和度,但这种方式下AR图像的边缘并不够清晰。此外,这将需要使用偏振光方案,而偏振光模组的光损大约可达到60%。
另一方面,由于真实场景中包含了无限个深度和焦点,你可以想象这种物理空间由无数颗像素组成,其像素数量远超AR头显的屏幕。当AR屏幕用深色像素遮挡物理背景时,实际上每颗像素会挡住100颗真实像素(AR屏幕的像素比真实空间的像素大100倍),因此遮挡效果并不精确。实际上,当开启背景调光模式,你会看到AR周围有一圈深色的光晕,这种光晕看起来比较模糊,而且边界并不清晰,甚至可能会遮住不该遮挡的光线。Guttag称,这种技术常被成为边缘模糊遮挡。
不过从经验来看,目前光学AR几乎无法实现边缘清晰的遮挡。亚利桑那大学的科研人员在从事相关研究,不过目前仅能在一个焦点平面上实现AR遮挡,而且光学结构相当复杂。
Guttag表示:大家觉得透视AR是一项简单的技术,其结构和原理比光学AR更简单,但实际上透视AR也存在技术局限。比如用摄像头透视真实环境其实并不理想,因为通常VR头显的摄像头并不具备人眼级别的HDR、动态变焦,所以透视图像和肉眼看真实环境有差距。而且摄像头的位置和人眼IPD并不匹配。
Steve Mann在2013年的一篇论文中就提到,将视频透视系统的摄像头居中很重要。据悉,Mann从1978年就开始使用计算机眼镜,到现在已经有44年之久,他常用的AR眼镜是基于单目透视的方案。
Mann表示:通常,视频透视的摄像头靠近人眼,但和人眼的视角依然有差距,这种位置差距长期来看会让体验感不自然,即使用户摘下AR眼镜,这种不舒适也会持续。也就是说,即使只为一只眼睛提供视频透视,也还是给Mann带来了不理想的体验。
Guttag指出,VR头显的厚度越大,摄像头与人眼的距离越大,而摄像头捕捉到的画面也会越不自然。这也是为什么Lynx选择将机身做的很薄。理想的情况是,为透视摄像头配备6DoF平衡器,让摄像头跟人眼同步运动,如果你转动眼球,摄像头也会追随眼球的注视点。
单一焦点方面,Guttag认为也许在50年到100年后,视频透视AR系统可配备多颗低延迟光场相机、光场显示屏,来实现支持高动态变焦的透视效果。总之,在VR中透视周围物理环境的技术,还需要很长的发展阶段。
另外,Guttag也担忧Lynx的商业模式,因为Lynx VR头显的特殊光学模组并非自主生产,而是采用了Limbak的ThinEyes透镜方案。这种光学结构需要显示屏渲染四份几乎相同的图像,浪费了显示屏的总像素。Guttag认为,Lynx实际上也可以采用Pancake透镜,不需要依赖现有的光学模组。
而且Lynx的光学效率不够高,大部分显示屏都用来实现视频透视,但现实效果不够理想,牺牲了大量的分辨率。实际上,从官方展示的实拍图中,也能看到闪烁的深色噪点、而且整体会出现失焦的情况。这是因为摄像头的分辨率比Lynx屏幕的最大分辨率要低。
视频透视AR的遮挡能力好,但是与环境、物体融合能力弱,比如手位于AR前方时,头显系统需要计算出手的轮廓/边界,才能虚实融合,但目前混合现实计算还不够理想。如果手移动速度过快,可能会看到明显的延迟。另外,透视AR的视差可能也会与肉眼有所差异。
Guttag并不看好视频透视AR的市场前景,现在视频透视的流行趋势主要是受苹果、Meta等巨头之间的竞争驱动。他甚至将视频透视头显与马斯克的超级高铁Hyperloop概念相比,暗示这项技术远没有想象中那么实际,甚至从理论上无法达到理想状态。
总之,Guttag认为视频透视不会成为成功的AR产品,它始终是VR(具有部分AR功能的VR)。也就是说视频透视AR不能解决光学透视AR面临的技术难题。如果说,未来视频透视AR游戏想要获得成功,将需要考虑到游戏体验所在的空间,将不同空间的特点与游戏内容融合,而不只是将3D游戏设计在墙面上。此外,还需要考虑当用户在移动过程中,空间背景的动态变化,以及空间中的障碍物。参考:SadlyItsBradley