Karl Guttag:AR眼镜应根据用途来设计,VST并未解决技术难题

毫无疑问,开发理想的全天候AR眼镜很难,各类行业专家不止一次分析了AR硬件设计的挑战。实际上,打造一款轻量、功能强大的穿戴式眼镜,本身就是在挑战设计极限,你几乎无法满足所有的需求,不得不在分辨率、重量、散热、续航等多方面进行权衡。那么就现在的技术水平,能否开发出有价值的AR眼镜呢?办法就是根据特定应用场景去设计,不需要全能,只要将特定应用场景做好即可。

Karl Guttag:AR眼镜应根据用途来设计,VST并未解决技术难题_第1张图片

近期,AR/VR光学专家Karl Guttag在与海外博主SadlyItsBradley的访谈中就指出,目前AR光学市场面临的一个问题是,眼镜厂商、光学供应商致力于突破AR的亮度、分辨率,但实际上更高的显示配置并不是决定AR眼镜好坏的关键。相比之下,寻找AR眼镜的应用场景更加关键,因为AR的用途将决定硬件需要什么样的设计。

另外,厂商在开发AR眼镜时,考虑的是用户的需求,也就是其他人的需求。然而如果从自身出发,才更有可能找到AR的有效用途,因为比起其他人,你更了解自己。如果是为其他人设计AR眼镜这样的穿戴设备,通常目标用户很难明确,甚至可能不存在或是只有一少部分人。

AR眼镜设计难题

在大家的预期中,AR眼镜的外形应该向雷朋墨镜那样小巧,分辨率应该媲美4K OLED电视。然而,现实中的AR眼镜更像是头盔,比如Hololens。Guttag指出,这是因为AR设计面临诸多技术局限:

  • 1,成本
  • 2,透光性、畸变、视觉瑕疵;
  • 3,适眼距(至少25毫米空间才能容纳镜框眼镜);
  • 4,遮挡视觉能见度,可能引发安全问题(余光或眼前);
  • 5,横向和纵向FOV、显示面积(25°和50°FOV的显示面积差4倍);
  • 6,分辨率(PPI、PPD);
  • 7,眼动范围大小(清晰区域);
  • 8,视觉亮度(AR虚拟图像的能见度、真实环境的能见度);
  • 9,对比度(能否显示黑色、AR显示区域与周围环境的融合度);
  • 10,颜色质量、均匀度、色差;
  • 11,VAC,视觉辐辏调节冲突以及相关症状(大多数AR眼镜的对焦距离在2米左右,远超用户手臂长度);
  • 12,尺寸、重量、外形、重量分布(鼻梁、耳后可长时间承重50g以内、固定头带会带来其他舒适度问题);
  • 13,安全性(尤其是玻璃材质的光波导,是否抗摔,会不会破碎伤眼睛);
  • 14,适应不同的头型和面部结构;
  • 15,耗电量、续航(电池大小/重量和散热之间的权衡);
  • 16,覆盖完整的IPD调节;
  • 17,用户的环境感知能力(安全性);
  • 18,社交问题(摄像头数据隐私、外观是否奇怪、AR眼镜漏光等等);
  • 19,计算和数据传输(店员、尺寸和中来那个之间的权衡);
  • 20,耐用性,是否抗摔,是否有防护措施;
  • 21,便携性(能否支持全天候使用,能否放在随身口袋);
  • 22,视力调节。

上述这些挑战不按顺序排列,通常在设计AR眼镜时不仅要考虑这些问题,还会发现解决一个问题后,可能会造成其他的问题。此外,还存在光学难题:可见光的波长是固定的,而像素是光波长的整数倍。通常,AR显示系统的像素密度比VR更大,需要更多像素。相比于VR,AR更难显示出纯黑色,只能透出周围环境中的黑色。此外,AR眼镜的屏幕布局、光路比VR更复杂,不能直接将屏幕摆在人眼前面,否则会遮挡视线。另外,AR眼镜的显示模组通常比VR更靠近人眼,这意味着将需要额外的对焦系统。更重要的是,需要解决体积、功耗的问题。

Karl Guttag:AR眼镜应根据用途来设计,VST并未解决技术难题_第2张图片

Guttag认为,过于追求虚实结合的效果,可能效果并不理想,甚至同时影响AR和物理环境透视的效果。

由此可见,开发AR眼镜是一种长期、复杂的权衡过程,目前没有一个完美的方案,只能根据实际应用场景去舍取和搭配合适的配置、性能。

配置匹配应用场景

目前,AR在B端已经找到一些应用场景,比如军事、医疗、仓库、展厅、导航。不同的AR场景对于体验和功能有不同的需求,一些关键需求包括无手柄交互、室内外均可清晰显示的高亮度。

分辨率方面,Guttag认为40ppd(1.5角分/像素)是分辨率的一个甜蜜值,对于大多数用于已经足够(人眼视网膜分辨率为60PPD)。分辨率过低不仅画质粗糙,文字显示能力也差,不得不放大字体才能看清,但这也意味着可阅读速度变慢。而分辨率过高,实际上并不一定实用,因为显示屏尺寸会随之变大,眼镜整体变重,长时间佩戴体验感不够舒适。Meta推出的智能眼镜RayBan Stories并没有配备AR显示模块,但整机要比普通眼镜要重不少。尤其是对于全天候佩戴的AR眼镜来讲,重量的权衡非常关键。

Karl Guttag:AR眼镜应根据用途来设计,VST并未解决技术难题_第3张图片

FOV方面,Guttag认为纵向在30到40°就足够,超出这个范围可能会让人产生视觉疲劳。Magic Leap 2在此前基础上扩展了纵向视场角,不过Guttag认为AR显示区域应该更宽一些而不是更高,而且视线下方是关键显示区域,因为人眼并不常向上看,而是更容易向下看。

同时,扩大AR显示区域不仅是为了沉浸感,也是为了避免用户看到屏幕和真实环境之间明显的边界。这也是AR与VR一个明显区别,理想的VR是覆盖人眼全部可视区域,而AR则是追求将虚拟图像与周围环境融合,足够透视又足够沉浸。与此同时,AR图像需要足够清晰,显示的色彩足够纯,而不是模棱两可、饱和度低。

而对于工业、企业级AR场景,通常只需要准确的SLAM定位和清晰的AR指示就能满足需求,而且需要避免UI阻挡视线,如果AR菜单太大,可能会让人看不到自己的手,那么执行任务反而会更困难。在很多场景,AR并不需要照片级保真的画质,仅显示清晰的文字就足够有效。

尽管如此,AR行业依然在尝试解决上述挑战,一方面是害怕错过机遇,想要赶在竞争者之前突破技术局限,从而抢占市场。在人们的预期中,理想的AR眼镜应该具有iPhone的质量,并拥有强大、全面的功能,这也是AR从业者的最大愿景。

在PC、手机领域,Meta并没有自己的平台,因此Meta希望抢滩AR,打造像安卓、iOS那样的平台。Guttag认为,相比于苹果,扎克伯格似乎更相信AR/VR的未来,而苹果更像是为了顺应当下的趋势,在技术上预先打好基础,然而实际上对AR/VR硬件依然抱有怀疑。

光学透视(OST)和视频透视(VST)

为了“绕开”光学透视AR眼镜的技术局限,Meta等厂商开始研发基于视频透视的AR头显设计。对此Guttage认为,光学透视的一些难题在视频透视上得到很好的解决,但相比之下视频透视依然存在一些局限。

视频透视AR的优点:

  • 理论上AR画质更好;
  • 色彩饱和度更高,与物理环境光的对比度更高,可实现更好的AR遮挡;
  • 光学结构更简单、成本更低;
  • 不需要过多考虑透光率、亮度问题,更省电;

视频透视AR缺点:

  • 环境透视基于摄像头,视觉焦点是固定的;
  • 透视图像不具备媲美真实环境的HDR观感;
  • 摄像头透视比肉眼直接看真实环境分辨率低;
  • 存在运动到图像延迟,当用户移动头部或是周围环境出现变化时,视频透视画面会经历一段延迟才会对应更新(延迟时间包括摄像头捕捉、图像处理、传感器计算等步骤);
  • 透视摄像头与人眼所在位置不匹配,通常透视摄像头位于VR头显两侧,位置间距超过人眼IPD,因此透视效果并不自然,可能引起运动风险、头痛、眩晕等安全问题;可通过高端的眼球追踪和计算技术来优化;
  • 余光视觉和环境光问题:如果开放头显两侧,允许用户用余光看到周围环境,那么安全性会更好,但可能会影响AR/VR显示效果和亮度。

Guttag表示:大家觉得视频透视是一项简单的技术,其结构和原理比光学透视更简单,但实际上视频透视也存在技术局限。比如用摄像头透视真实环境其实并不理想,因为通常VR头显的摄像头并不具备人眼级别的HDR、动态变焦,所以透视图像和肉眼看真实环境有差距。而且摄像头的位置和人眼IPD并不匹配。

Karl Guttag:AR眼镜应根据用途来设计,VST并未解决技术难题_第4张图片

另外,也可以通过调暗背景来降低AR透光率,从视觉上增强AR的饱和度,但这种方式下AR图像的边缘并不够清晰。此外,这将需要使用偏振光方案,而偏振光模组的光损大约可达到60%。

另一方面,由于真实场景中包含了无限个深度和焦点,你可以想象这种物理空间由无数颗像素组成,其像素数量远超AR头显的屏幕。当AR屏幕用深色像素遮挡物理背景时,实际上每颗像素会挡住100颗真实像素(AR屏幕的像素比真实空间的像素大100倍),因此遮挡效果并不精确。实际上,当开启背景调光模式,你会看到AR周围有一圈深色的光晕,这种光晕看起来比较模糊,而且边界并不清晰,甚至可能会遮住不该遮挡的光线。Guttag称,这种技术常被成为边缘模糊遮挡。

不过从经验来看,目前光学AR几乎无法实现边缘清晰的遮挡。亚利桑那大学的科研人员在从事相关研究,不过目前仅能在一个焦点平面上实现AR遮挡,而且光学结构相当复杂。

Guttag表示:大家觉得透视AR是一项简单的技术,其结构和原理比光学AR更简单,但实际上透视AR也存在技术局限。比如用摄像头透视真实环境其实并不理想,因为通常VR头显的摄像头并不具备人眼级别的HDR、动态变焦,所以透视图像和肉眼看真实环境有差距。而且摄像头的位置和人眼IPD并不匹配。

Karl Guttag:AR眼镜应根据用途来设计,VST并未解决技术难题_第5张图片

Steve Mann在2013年的一篇论文中就提到,将视频透视系统的摄像头居中很重要。据悉,Mann从1978年就开始使用计算机眼镜,到现在已经有44年之久,他常用的AR眼镜是基于单目透视的方案。

Mann表示:通常,视频透视的摄像头靠近人眼,但和人眼的视角依然有差距,这种位置差距长期来看会让体验感不自然,即使用户摘下AR眼镜,这种不舒适也会持续。也就是说,即使只为一只眼睛提供视频透视,也还是给Mann带来了不理想的体验。

Guttag指出,VR头显的厚度越大,摄像头与人眼的距离越大,而摄像头捕捉到的画面也会越不自然。这也是为什么Lynx选择将机身做的很薄。理想的情况是,为透视摄像头配备6DoF平衡器,让摄像头跟人眼同步运动,如果你转动眼球,摄像头也会追随眼球的注视点。

Karl Guttag:AR眼镜应根据用途来设计,VST并未解决技术难题_第6张图片

单一焦点方面,Guttag认为也许在50年到100年后,视频透视AR系统可配备多颗低延迟光场相机、光场显示屏,来实现支持高动态变焦的透视效果。总之,在VR中透视周围物理环境的技术,还需要很长的发展阶段。

关于透视头显Lynx

另外,Guttag也担忧Lynx的商业模式,因为Lynx VR头显的特殊光学模组并非自主生产,而是采用了Limbak的ThinEyes透镜方案。这种光学结构需要显示屏渲染四份几乎相同的图像,浪费了显示屏的总像素。Guttag认为,Lynx实际上也可以采用Pancake透镜,不需要依赖现有的光学模组。

而且Lynx的光学效率不够高,大部分显示屏都用来实现视频透视,但现实效果不够理想,牺牲了大量的分辨率。实际上,从官方展示的实拍图中,也能看到闪烁的深色噪点、而且整体会出现失焦的情况。这是因为摄像头的分辨率比Lynx屏幕的最大分辨率要低。

视频透视AR的遮挡能力好,但是与环境、物体融合能力弱,比如手位于AR前方时,头显系统需要计算出手的轮廓/边界,才能虚实融合,但目前混合现实计算还不够理想。如果手移动速度过快,可能会看到明显的延迟。另外,透视AR的视差可能也会与肉眼有所差异。

潜在应用场景

Guttag并不看好视频透视AR的市场前景,现在视频透视的流行趋势主要是受苹果、Meta等巨头之间的竞争驱动。他甚至将视频透视头显与马斯克的超级高铁Hyperloop概念相比,暗示这项技术远没有想象中那么实际,甚至从理论上无法达到理想状态。

​总之,Guttag认为视频透视不会成为成功的AR产品,它始终是VR(具有部分AR功能的VR)。也就是说视频透视AR不能解决光学透视AR面临的技术难题。如果说,未来视频透视AR游戏想要获得成功,将需要考虑到游戏体验所在的空间,将不同空间的特点与游戏内容融合,而不只是将3D游戏设计在墙面上。此外,还需要考虑当用户在移动过程中,空间背景的动态变化,以及空间中的障碍物。参考:SadlyItsBradley

你可能感兴趣的:(vr,ar,ar)