作者：张晗、蔡苏
来源：教育新技术
物联网智库 整理发布
转载请注明来源和出处
------ 【导读】 ------
AR与VR如火如荼，但是其中值得称道的黑科技呢？
光场介绍
光场（Light Field）技术被业界认为是未来的完美显示技术。那么，什么是光场呢？光场在哪里呢？
简单地说，人们看自然界真实物体时看到的是光场（当然是在有光情况下啦），而从普通显示屏幕上看到的，物体的像，不是光场。人们会感觉到看真实物体时物体很“真实”，有立体感，有远近感，人们打量一个物体时，还会时不时地晃动脑袋，变换一下观察方向，感受一下这个物体的立体结构。但是当人们从屏幕上看物体的像时，虽然也能感觉到一定的立体感（明暗关系，遮挡关系起作用），和真实物体没法比，人们也不会看屏幕时变换光强方向，即使变化光强方向，看到的画面也不会发生变化。
那么从屏幕中发射的光线和真实物体发射或反射的光线相比缺少了哪些内容呢？从拍照说起，屏幕的像就是人们给物体拍的照片，缺少了光线的方向信息，在拍摄照片时通过凸透镜将物体发射的光线搜集，汇聚到底片上，底片是平面，会逐点记录光线到达底片的颜色。
如果有两条来自不同方向的光线，它们通过凸透镜后，打到底片上的同一位置，那么底片会把这两条光线记录在同一像素上，记录下这两条光线混合后的颜色，但没有记录下这两条光线的方向。既然拍照的时候没有记录下光线的方向，屏幕显示的时候也不可能还原出光线的方向。（信息论，信息不能凭空创造出）。
屏幕显示图像时，所有的光线都从屏幕（一个平面）发出，通过直线传播到达眼睛，人们要看清屏幕上的物体就要把眼睛聚焦到屏幕上。但真实的物体发出/发射的光线是从物体的各个位置发出的，并非从一个平面上发出，光线携带了物体的立体信息，人们要看清真实物体时，眼睛需要聚焦到物体的真实表面上。即使屏幕做的再复杂，也没有真正的物体给人的感觉真实。
物体从各个位置发出的光线方向不同距离不同，人有两只眼睛，位置不同，接受的光线方向也不同，位置不同，会产生双目视察，移动视察，聚焦模糊，通过大脑的处理，人们能感受到物体的立体感。但从普通屏幕发出的光线是从一个平面发出的，到达眼睛的距离，方向，基本相同，人的两只眼睛看到的图像基本相同，即使移动一下，改变观察方法，也不会有大的变化，也不用根据物体表面各点的距离调节聚焦（直接聚焦到屏幕上即可）。所以大脑不能处理立体信息，自然没有了立体感。
光场不是一个平面发出的光，是从整个三维立体空间发出的光，如果能记录光线颜色，位置，方向，并且能在显示端还原出来，就是完整的光场技术，如果只能记录出光场信息，则成为光场拍摄技术；如果能显示出光场，就是光场显示技术。
光场理论
以上是对光场的通俗的解释，光场也有严格的理论，称为5维全光学理论，光线是从三维空间中的任意一点发出的，三维空间任意点可以用（X，Y，Z）三个参数表示，光线是从这个点上发出的一条射线，射线在空间中的方向可以用（θ，φ）两个参数表示，那么表示空间中的光线的公式是L=F（X，Y，Z，θ，φ）成为5维全光函数。
图 1五维全光学理论示意图
光线还有波长（颜色），强度（亮度），偏振等等，有很多维度，我们说的5D是光源的位置和光线的方向。没有记录颜色和亮度等等。普通的照片就是只记录颜色亮度，光源位置的x,y，不记录z和光线方向θ，φ。如果记录光线位置x,y和光线方向θ，φ，颜色和亮度，但不记录光源的距离，就是4D光场相机(比如 Lytro)。
4D 光场也可以两个平面坐标来表示，L=F（U，V，S，T）其中，U，V和S，T分别是两个互相平行的平面上的点，这是4D光场比较常见的表示方法。
图 2四维全光学理论示意图
Lytro光场相机原理
Lytro 主要命令是在图像传感器上贴了一张微凸透镜膜，里面是蜂窝状微透镜，数量大概十万，光线从不同方向进入微透镜时，经过折射会映射到微透镜后面不同的像素上，就是说微透镜完成了将光线方向转换成屏幕位置的功能，然后用微透镜后面图像传感器记录下来
图 3Lytro基本原理示意图
图 4微透镜示意图（箭头所指）
这样 Lytro 就实现了用普通的图像传感器记录光线方向的功能，成了光场相机。有很多精密算法，从平面上把光线的方向还原出来，判断景物距离，实现先拍照后对焦，还有精密的加工工艺。
图 5光场相机拍摄的光场图
【注：通俗来讲，传统的摄影器材通常只有一个景深范围和焦点，一般来说在调整好主要目标的焦距后，背景会出现模糊的现象，而我们只能通过调整精神或缩小光圈的方式来拍摄。而Lytro采用的光场技术，可以将多个物体捕捉到整个的场景中，并且存在多个焦点，然后用户可以在拍照完毕后期通过电脑进行对焦处理，实现先拍摄后对焦，获得更到完美的拍摄效果。
如果还不明白，我们可以将其比喻成对乐器和弦的录音。传统相机就是每次只能录下特定的旋律，而光场相机则是一次性将20个和弦都录下，然后再通过软件将不同的旋律根据需求提取出来】
理论上 Lytro 相机可以对焦到无穷远，镜头景深做得很大，让拍摄到的每个像素基本都是清晰的，然后通过解算每个像素到相机的距离将对焦距离外的像素人为模糊掉，实现全景深范围内的后对焦。并不是全部景深都可以先拍照后对焦的，有一个范围。
图 6对焦示意图
这张图上中间颜色的部分就是可以后对焦的部分。如果这个范围大，那么对焦的步长就大，不精细。否则就精细些。由于 Lytro 记录数据量有限，不能连续选择聚焦距离，图中一个颜色就是一个步长，如果微透镜尺寸大，或者每个微透镜后面的图像传感器包含的像素多，步长就小，照片的分辨率就会低，相当于 Lytro 将更多地资源记录光线的方向。
图 7光场相机拍摄出的图片
这张图就是先拍照和对焦的效果。用 Lytro 光场相机拍下一张照片，然后可以输出左边的效果，也可以输出右边的效果。因为图像传感器的分辨率是有限的，而 Lytro 记录颜色方向都是在同一个传感器上，资源平衡问题出现了，如果更多地像素分配给颜色，尺寸会大，那么方向分辨率就低，聚焦的步长会大。
【注：关于步长，个人理解是两次对焦成像距离的变动长度】
图 8 微透镜阵列（放大版）
这是一个微透镜阵列，其实这个透镜很大，不算微透镜了，示意一下吧。Lytro 实现了光场记录，只用于后对焦并没有将光场显示出来，这属于光场拍摄技术产品。
如果能将光场显示出来，就不需要佩戴眼镜，裸眼就能观察到立体感图像，也不用跟踪眼球，实现多人裸眼立体显示，如果实现4d光场显示就能呈现双目视差，移动视差。5D 光场显示就能呈现聚焦模糊。使用 Lytro 逆过程，光路可逆，我们能用Lytro图像传感器变成发光屏幕，将尺寸放大到显示器大小，微透镜也放大，张贴在屏幕上，屏幕上光线必须经过微透镜折射才能进入人的眼睛。
微透镜入射和出射的光线方向是一致的，还原了拍摄光线的方向，还原了光场。实际有很多包括加工精度等问题。这种技术立体感很强，左右晃动脑袋时还可以看到不同的侧面，北航xR实验室对于4d光场重现装置已经试验成功。
Magic Leap原理分析
Magic leap也是光场显示技术，宣传视频上是用户不需要戴眼镜，但是从技术分析上来看，还是需要的。
图 9 4D光场重现的装置示意图
图 10MagicLeap眼镜的示意图
Magic Leap 轻便，图像在小盒子里产生，通过光纤传输到眼镜。普通的是像素点发光来显示图像，Magic Leap 使用的是光纤投影仪来显示图像的。
图 11光纤投影仪的示意图
光纤的顶端会发出光线，光线并不是静止的，是通过压电装置驱动发生有规律的抖动，实现扫描功能，就像原来的电视机图像都是电子束扫描出来的，这里是通过光纤振动扫描出来。
图 12光纤扫描成像的示意图
Magic Leap 使用的光纤扫描仪很小，一个只能扫描出直径大概一毫米的图像，一个眼镜需要很多个扫描仪排成阵列，合成尺寸足够大的图像。
图 13光纤投影仪阵列的示意图
使用原因是：Magic leap 想给人们展示大幅面的水平视角120度，垂直视角80度，没有纱窗效应的光场图像，这样需要极高的图像分辨率
【注：所谓的纱窗效应，即在像素不足的情况下，实时渲染引发的细线条舞动、高对比度边缘出现分离式闪烁】
图 14纱窗效应显示图
人眼的角分辨率为一分来计算,,如果没有纱窗效应,水平视角120度，垂直视角80度的图像， 需要 7200*4800 约等于4兆的像素。
【注：角分辨率的1'在这里就是指1/360度，目前公认的数据是人眼在中等亮度情况下可分辨的最小分辨角为1.5'。目前科学界公认的数据表明，观看物体时，人能清晰看清视场区域对应的分辨率为2169 X 1213。 再算上上下左右比较模糊的区域，人眼分辨率是6000 X 4000。 那么，2169 X 1213是怎么计算出来的呢？
人观看物体时，能清晰看清视场区域对应的双眼大约是35°（横向）X 20°（纵向）。 同时人眼在中等亮度，中等对比度的为0.2mm，对应的为0.688m。 其中d与L满足tg(θ/2)=d/2L，θ一般取值为1.5'，是一个很小的角。 将视场近似地模拟为地面为长方形的正锥体，其中锥体的高为h = L = 0.688m，θ1=35°（水平视角）， θ2=20°（垂直视角）。以0.0002m为一个点，可以得知底面长方形为2169 X 1213的分辨率。
兆像素：一个兆像素(megapixel)是一百万个像素，通常用于表达数码相机的解析度。例如，一个相机可以使用2048×1536像素的解析度，通常被称为有“3.1百万像素” (2048 × 1536 = 3,145,728)。
而且这么高的分辨率在小面积屏幕实现，一般的屏幕是不可以的，Magic Leap 光纤投影仪，投影仪需要 7mm*5mm，就可以放在眼镜的一侧。但是光线在侧面，我们需要将光线从侧面引到前面，才能将画面呈现到前面。他们用一种特殊的光学元件：光子光场芯片，能够把特定波长的光线从侧面变化到前面，并投到眼睛，在视网膜上成像，通过电控制实现不同的图像焦平面，模拟光线是从不同的距离发射过来的。
【注：焦平面：过第一焦点（前焦点或物方焦点）且垂直于系统主光轴的平面称第一焦平面，又称前焦面或物方焦面】
图 15焦平面
图 16光子光场芯片，也即是magicleap的眼镜片
这时Magic Leap就实现了在光场中显示z参数，能模拟光源到眼睛的距离，如果Magicleap能重现光的方向，就能进行5d光差显示，如同看真实物体一样。
【编者注：其实前文中已经叙述了，忘了的可以看看介个~图 1五维全光学理论示意图光线是从三维空间中的任意一点发出的，三维空间任意点可以用（X，Y，Z）三个参数表示，光线是从这个点上发出的一条射线，射线在空间中的方向可以用（θ，φ）两个参数表示，那么表示空间中的光线的公式是L=F（X，Y，Z，θ，φ）成为5维全光函数】
图 17光子光场芯片的示意图
Magic Leap 也是通过眼镜将现实和虚拟混合，但他们认为这不是普通的AR产品，他们认为普通的AR产品是二维的没有深度的图像和现实场景混合，他们能将三维的与真实场景能够互相遮挡的虚拟物体和现实场景混合即MR
图 18VR，AR，MR之间的异同点
VR是虚拟场景和虚拟物体，AR是现实场景和虚拟物体，但是只是像贴在屏幕上一样，没有发生遮挡关系，MR非常真实，现实场景和虚拟物体，与AR不同的是其有层次关系，现实场景可以挡住虚拟物体的一部分，就像真实场景一样。要实现MR中显示物品和自然场景有遮挡关系，Magic Leap 必须能正确理解场景三维结构，对运算性要求高,目前对于slam算法实施性有待提高，Magic Leap 是否采用slam算法理解自然场景还不能确定。
【注Slam:Simultaneous localization and mapping(即时定位与地图构建)一般应用于机器人领域，指的是机器人在自身位置不确定的条件下，在完全未知的环境中创建地图，同时利用地图进行自主定位和导航。浅析链接：就是ppt做的有点丑••http://wenku.baidu.com/link?url=kU-8NFFvqxVVLXpBSxspY-6eGByl6FoIN-54degx9M6dBAvdV-abE1l8miCvrSJe1BKFhU3fSzVBLvSP9e7gYxs8dads8gjkczbTLr3jfuW】
Magic Leap 是需要实时获取用户眼球信息的，要记住用户的注视方向和聚焦点，计算聚焦点和眼睛的距离，如果要将虚拟物体正确的投射到眼睛的聚焦点处，就要通过光子光场芯片正确的模拟光场的距离。为了理解三维空间的结构和获取人眼球的信息，需要很多摄像头，对外需要拍摄外景，对内需要拍摄眼球，因此至少需要5-6个摄像头。
往期热文（点击文章标题即可直接阅读）：
《日本 “迷你晶圆厂”技术若成熟，台积电的好日子将会到头》
《三大股神豪赌物联网：巴菲特、李嘉诚、孙正义的深谋远虑》
《专访邬贺铨院士：四个好消息说明物联网的发展步入了正轨》
《中国第1份低功耗广域网络LPWAN市场报告重磅发布：下一个物联网机会在哪里？[文字版]》
《一幅漫画告诉你：NB-IoT背后，还有一个大家都在说的LoRa是什么？》
《一幅漫画告诉你：除了WiFi，蓝牙，最近火爆的NB-IoT能干嘛？》
《麦肯锡重磅报告：企业如何挖掘“工业4.0”的价值？（收藏版）
Hi,我是iot101君！
关于物联网，
我的每一句话都不是扯的；
如果遇到物联网有关的问题，
别打110，
来iot101君这里看看就行！
阅读原文：http://mp.weixin.qq.com/s?__biz=MjM5MTM5ODQyMA==&mid=2651192906&idx=2&sn=091a837546c7a5fc73deff434786bc94#rd