你懂了这项技术,才有资格评判Magic Leap是不是骗子

炙手可热的神秘AR初创独角兽Magic Leap,近日遭到The Information、The Verge 等多家国外媒体质疑,称其宣传视频存在误导大众的嫌疑,在视频中夸大了其技术能力,The Information更是直截了当地表示 Magic Leap所展示的各种惊艳的效果都是后期特效。

随后,Magic Leap CEO Rony Abovitz 两小时内在Twitter上连发数十条推文否认造假,还称“产品发布后质疑者可以试用”。

你懂了这项技术,才有资格评判Magic Leap是不是骗子_第1张图片

让Magic Leap处在风口浪尖的“鱼跃篮球场”视频,正是其一直引以为傲的“光场显示(light field display)技术”的宣传。光场技术是2013年秋季Magic Leap在A轮融资5000万美元时提出来的、用于解决带头显产生头晕和恶心的问题的一项新技术。但据Magic Leap前员工透露,Magic Leap目前在这项技术上也遇到了瓶颈。在WD3(Wearable Demo Three,为B轮融资推出的新头显)中使用的还是和初代“野兽”(The Beast)一样的投影技术。

什么是光场技术?

对于“光场(light field)”,1846年法拉第给出的定义是:光线携带二维位置信息( u,v) 和二维方向信息( θ,φ) 在光场中传递。根据Levoy 的光场渲染理论,空间中携带强度和方向信息的任意光线。

通俗地讲,光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示,是空间中所有光线光辐射函数的总体,也就是指光在每一个方向通过每一个点的光量。

你懂了这项技术,才有资格评判Magic Leap是不是骗子_第2张图片

光场的两个主要应用方向是光场拍摄和光场显示,第一种需要记录下来整个空间的所有信息,第二个则是需要将这些信息完整地复现出来。比如,Lytro、Next VR以及谷歌的Google Jump,德国公司的Raytrix等,他们所针对的方向就是如何将空间的所有信息完整的记录下来;而Magic Leap、蚁视要做的则是怎么把这些内容复现出来。

光场技术有何优势?

我们看到的世界,是由物理的反射光线射入我们的眼睛以后,通过晶状体的折射等最终在视网膜成像,然后视网膜把这些电信号通过视觉神经转化给大脑的。我们在看不同物体时,眼睛的晶状体会随时调整厚薄程度(对焦)来使物体更清楚。随时对焦是人类的一种本能。

我们看物体时,焦点部分(盯着看的地方)是清晰的,背景部分(眼镜余光的地方)则是虚化的。整个空间环境是由无数个这样的二维画面叠加融合而成,融合后的画面会包含各个“焦点”在特定时刻的各种空间信息和位置关系。

你懂了这项技术,才有资格评判Magic Leap是不是骗子_第3张图片

光场,就是要真实的记录跟复原模拟出来这个空间,使我们跟真正在这个空间中的任何位置一样,能从任意角度看到对应的“无数个这样的二维画面叠加融合而成”的画面。

这样的好处在于,往常观看VR屏幕画面时,屏幕相对眼球的距离是不变的,也就是焦点会长期保持不变。但不同的图像会带来不同的“景深”信息,此时眼球焦点却没有得到对应的调节,视觉系统的平衡就被打破了,所以很容易导致眩晕、恶心、呕吐等不适症状。

你懂了这项技术,才有资格评判Magic Leap是不是骗子_第4张图片

而通过光场显示屏幕,你就可以真正感受到画面物体间的相对距离。比如看远处的物体时,近处的物体会因为眼球失焦而模糊,看近物时,远景也会被“虚化”,更接近真实的观看体验。因而可以避免视觉系统的失衡,一定程度降低晕动症产生。

你懂了这项技术,才有资格评判Magic Leap是不是骗子_第5张图片

实现光场技术的条件和关键点

获取光场的方式

无论是Next VR方案、Lytro相机,还是Google Jump等,大体的方案主要有三大类型:微透镜阵列解决方案、相机阵列方案、掩膜及其他孔径处理方案。

第一种微透镜阵列方案。

过细小的微透镜单元来记录同位置不同角度的场景图像,从而在现有的普通成像系统基础之上,通过对现有相机一次像面地方加入微透镜阵列的简单改造,从而获得一个四维光场。代表公司有Adobe 公司2011年爆出的光场相机镜头。

你懂了这项技术,才有资格评判Magic Leap是不是骗子_第6张图片

在Adobe公司光场相机镜头的方案中,类似于昆虫复眼的设计,每一个单独的镜头在图像分辨率等方面与传统镜头并无优势,而且由于镜头外接,甚至会引入新的像差等问题需要处理。但原始图像经过Adobe公司对应的软件分析处理之后,就会获得一个多层的三维模拟图像。

第二种办法是相机阵列。

代表方案有斯坦福大学Marc Levoy教授1996推出的128 相机阵列方案、Isaksen 单相机扫描方案、MIT 64 相机阵列方案、卡耐基—梅隆大学的“3D Room”方案等。该方案是通过相机在空间的特定排列来抓取一组不同的图像,然后通过特定的计算方式将这些场景重构,从而获得广场。用这种方案获得的图片可以包含很多直接的数据信息,而且在合成孔径成像、大视角全景成像方面具有优势,但128、64相机阵列……想想小编都觉得密集型恐惧症。

第三种就是掩膜及其他孔径处理方案了。

此类方案的代表有Veeraraghavan 光场相机等,这一类方案都是针对相机的孔径来做文章,通过有规律的调整孔径及光强等来获得一系列照片。这组照片的频域分布会跟光场数据基本吻合,通过对应的数据处理,可以反推得到四维光场信息。这种方案实行起来硬件方面较容易实现,但在软件数据转换方面则需要针对性的处理。

但实际上随着近年硬件成本降低和成熟,光场获取方案这边目前更多是倾向于大尺度的大型相机阵列和小尺度的光场显微镜。但目前所有的光场相机方案在图像空间分辨率与轴向分辨率两者之间都尚不能做到较好的兼顾,限制图像空间分辨率和轴向分辨率增长的硬件瓶颈、处理瓶颈等等成为光场获取目前最大的问题。

光场成像复现

而针对如何把光场复现出来,主要的方向有:计算成像方向、数字重聚焦方向。

第一种计算成像方向是将相机的光学系统抽象成四维光场的不同轴面数据,然后通过计算光辐射量、光瞳函数等得到整个光场的数字信息,然后数值积分近似求解,就可以基本数字复原出整个光场,这些图像的数字信息可以直接通过相应的显示设备来展示。

你懂了这项技术,才有资格评判Magic Leap是不是骗子_第7张图片

第二种数字重聚焦方向,小编暂时仍未理解,只知道是过获取重聚焦目标物所在的图像平面,计算其接收到的光辐射量,再通过傅里叶切片定理推论,来重建不同焦距处的图像。

然而不管是那种成像方法,获得这些光场的数字信息以后,都需要相应的显示设备才可以展示。但目前能够真正实现我们在光场中移动,图像也会随之变化,感受起来就像在一个真实的世界中行走这种效果的设备,目前还不没有太成熟的成品。

光场技术的应用

伴随着计算机技术的日益发展,光场理论得到不断发展,而且制作出来的微透镜,精确度更高,操作更加简单。而随着光场理论进一步完善,相应的功能得到了完善,光场成像的效能更好。当前光电技术与器件的发展,光场成像技术已经在多个领域得到广泛应用。尤其是在航空拍摄、动画渲染和完全监视等领域,有了较好的发展,实用化更强,集成度更高。

由于VR画面需要后期进行大量图形渲染,而光场技术恰好可以将真实拍摄和虚拟构造的3D信息进行数字化保存,因此可以通过后期处理,让VR电影和VR游戏达到最逼真的效果。因此VR也是目前光场技术最火热的应用方向。

目前,应用在VR上的光场成像原理技术主要有两种:光场立体视镜、微透镜阵列。这两种技术在实现原理上有很大的区别。

光场立体视镜

光场立体视镜技术,是将多块屏幕按照一定的距离堆叠在一起,通过不同的屏幕显示不同距离的内容,比如近处的内容用离眼睛最近的屏幕显示,最远的内容则用最后一块屏幕显示,当所有屏幕的画面重叠在一起便构成了一副完整的画面,从而产生一定的景深信息。

通过多层屏幕显示不同的景深画面,虽然并未能如现实一样达到最真实的观看体验,但相对只有一块屏幕来说,确实能大大提高体验,而且能一定程度保持视觉系统的平衡,降低晕动症产生。

你懂了这项技术,才有资格评判Magic Leap是不是骗子_第8张图片

微透镜阵列

微透镜阵列技术是采用微小的透镜阵列来显示画面,每个小透镜底部都会有一个小小的显示器来显示画面的部分内容。

这种技术会将影像分解成为数十组不同的视角阵列,然后再通过微透镜阵列组合重新将画面还原显示,一副画面中,不同距离的内容会被对应的透镜产生出对应的景深图像,当用户观看画面中不同的“点”时,感受到的“距离”也会不一样,所以使用更接近现实的观看体验。

你懂了这项技术,才有资格评判Magic Leap是不是骗子_第9张图片

但是,这两种技术都有各有其局限性。光场立体视镜如果想给予更多的景深信息,则需要堆叠更多的屏幕,这无疑会增加VR头显的体积和重量,佩戴舒适度则会降低。而微透镜阵列技术采用N个微显示屏+微透镜阵列的方式来显示画面,会对屏幕分辨率造成一定的衰减,屏幕分辨率不够画面会很模糊。为了更接近现实观看体验,微透镜阵列密度要足够大,同时又要满足高分辨率,这对于生产制造来说是一个很大的难度。

此外,这两种技术的画面呈现,特别是动态画面呈现,对于硬件的运算能力以及程序的处理能力都有很高的要求。

Magic Leap的光场技术

如果如Magic Leap的宣传视频里,观众没有佩戴眼镜就看到鲸鱼从篮球馆地面跃出,这是裸眼光场显示。但目前,Magic Leap还远没能做到。事实上,这段宣传视频,并没有像Magic Leap曾公开过三段Demo视频一样,标注“直接拍摄、无后期特效”。

Magic Leap的光场显示采用的是多投影阵列的技术方案,并声称采用了光纤投影。基于这种方案,美国南加州大学在2016年CVPR上曾展示过可实现1:1真人秀的裸眼光场显示,不需要用户佩戴特殊眼镜且能满足多人同时从不同角度观看,该系统包括了216个投影仪、6台PC主机,占地一个房间大小。

你懂了这项技术,才有资格评判Magic Leap是不是骗子_第10张图片

Magic Leap需要佩戴眼镜,因此需要的投影仪数量和计算量会少很多,但仍然是传统2D图像处理的好几倍。如果该光纤投影能像普通投影仪一样稳定输出彩色图像,那么光场显示系统的体积可大大减小,但目前该光纤投影的性能是否达到光场显示要求并没有得到佐证。即使光纤投影达到要求,但光场显示的计算量仍然非常巨大,目前的移动端处理器都难以实现实时的交互式光场显示,仍然需要依赖电脑。

你懂了这项技术,才有资格评判Magic Leap是不是骗子_第11张图片

因而,Magic Leap的商业化将面临三大挑战:

第一,光场数据量太大,数据存储和传输都将面临问题。未来的AR/MR必然存在内容的分享,就像手机分享2D图片一样,但是现有的网络带宽还无法实现流畅的光场内容分享。近几年,压缩光场技术被提出,利用光场数据的冗余性可大大降低数据存储量。不过,随着5G网络和LiFi技术的发展,这个问题会迎刃而解。

第二,光场计算量大。要实现逼真的光场显示,其计算量是传统2D图像的好几倍,现有的移动端通用处理器难以负担如此大的计算量。Magic Leap曾提及光场芯片(Light-Field Chip),但该芯片能否实现实时的交互式光场处理,只能留给时间来验证,现阶段的光场处理仍然依赖电脑。

第三,小型化、便携性。要实现逼真的裸眼光场显示所需要的设备的总体积约占一个房间,尽管Magic Leap通过佩戴眼镜降低了对投影数量和计算量的要求,但便携式的高性能光场显示样机仍是难以快速实现的。Magic Leap必须在设备体积和光场显示效果之间寻找平衡点,才能在短时间内实现小型化。


可以说,光场显示技术是一场伟大的技术革新,但商业化道路还有待产业链相关厂商的技术突破,宣传视频的完美效果可能会误导消费者,不利于产业的健康发展。

The Information文章作者Reed Albergotti在回答读者的疑问时也表示,不会把Magic Leap类比Theranos(一家做血液检测的“骗子公司”,该公司独创的血滴代替抽血检查的技术一度被认为将会颠覆760亿美元的血检产业,但其实是个骗局,90亿美元半年内灰飞烟灭)。他认为,“Magic Leap在试图做一些非常困难的事”,因为没人真正把他们做的事情讲清楚,才导致了群众过高的期望值。

你可能感兴趣的:(你懂了这项技术,才有资格评判Magic Leap是不是骗子)