2016年7月23日（看看大牛是怎么介绍Magic Leap的）

还记得我本月15日的日记吗？本着对自己才疏学浅的不满，我忍不住再次寻找Magic Leap的线索。

话说magic leap在公众视野里消失的也太快了吧？youtube视频点击量直线下滑，从最开始100W+击的掌中象、鲸鱼和办公室大战，到一个月前发布的星战机器人卖萌demo（Lucasfilm帮忙做的特效咯），至今只有2W不到点击量LOL。这就是老是画大饼的后果吗：）

screenshot-www.youtube.com 2016-07-24 00-22-21.png

所以说Mixed Reality科普任重而道远，因为它如期将至。

如果MR设备的移动性和外表亲和力都能得到普罗大众的认可的话，应用场景将会是整个世界！

但是目前看来，愿意相信和尝鲜的，还是前2.2%的发烧友。瞧，用户等级也是按钟形曲线分布的。

---

今天收获满满，可以说打心眼里接受了光场投影的设定：

仅作笔记，非商业用途。

第一篇是来自36Kr的：

Magic Leap不得不说的秘密 （2016-2-19）

这篇文章后半部分聚焦在人机交互的难点上。看了怎么多VR头晕的解释，我今天才第一次看懂：

Stereoscopic 3D是假3D
3D图像比2D图片多了一个维度，这个维度就是景深(depth)，看过3D电影和2D电影的同学知道感官上有明显的区别（只有少数人有双盲症不能看到）。大家知道人眼感知景深有很多机制，包括单眼（monocular）和双眼（binocular）的。单眼能感知的景深信号很多，比如：一个东西遮挡了另一个（occlusion），熟悉的物体的大小（relative size/height)，物体移动的变化（远的物体变化慢近的物体变化快，即motion parallax）。在此基础上，双眼的景深信号也非常强烈（所以远古的我们能更好地判断对面的老虎或者鹿到底离多远）。两只眼睛看到同一个场景会有细微差别，这让大脑能通过三角计算（triangulation）来得到物体景深。
Stereoscopic 3D就是利用这个原理给双眼分别显示不同的图片（如下图），它们很相似，只在水平方向上有细微差别。而这两张图片拍摄的时候，就是用两个并排的相机模拟人眼的位置拍的，现在的3D电影都是基于这个原理。

Paste_Image.png

但这样的Stereoscopic 3D有什么问题呢？简单讲它会引起用户身体不适如头晕、恶心等。为什么呢？这又涉及到人眼的一个有意思的机制。当我们在看一个现实世界中的物体时，眼睛其实有两种自然反应：
（1）聚焦(Accommodation/Focus)。眼睛的晶状体就像一个凸透镜，它会调节凸度来让那个物体在咱们视网膜上清楚成像。

Magic Leap不得不说的秘密

(2) “会聚”(Convergence)。在每只眼睛聚焦的同时，两只眼球还会有旋转运动来一起指向那个物体。

Magic Leap不得不说的秘密

很自然地，这两种反射运动在神经上是联接的(neurally coupled），也就是说任意一种运动会自动引发另一种运动。这也意味着，在人眼看真实物体的时候，聚焦和会聚的距离总是相等的（vergence distance = accommodation distance，参见下图A）。
那么Stereoscopic 3D的问题就来了。因为Stereoscopic的投射距离总是固定的(也就是accommodation distance不变），而图片的disparity会让眼睛会聚在不同的距离(vergence distance)以产生景深3D效果（见下图B）。所以，这两种距离经常是不一致的(vergence distance ≠ accommodation distance)，会造成这两种神经相连的运动强行分离（neurally decoupled）。
从另一个角度讲，在自然世界里，当人眼聚焦并会聚到一个物体时，别的距离的物体应该都是模糊的（下图C）。而在Stereoscopic 3D里，不管人眼聚焦到哪儿，别的距离的物体成像都是清楚的（下图D）。

这些都不符合自然界人眼的规律，因此大脑会产生混乱，长时间就会引起恶心晕眩等症状[4]。所以Stereoscopic其实是用了一个小伎俩让人能看到3D效果，但它并不是真3D。

Paste_Image.png

光场（light field）是真3D
光场显示跟Stereoscopic 3D比的一个很大不同就是它有本事能让人眼聚焦到不同的距离，从而和会聚的距离保持一致。这是最符合人眼观察自然世界规律的做法，因此被称为true-3D。
可以想象要实现这样的光场显示，并不是那么简单。现在主要是两种方法：空间复用（space multiplexing）和时间复用（time multiplexing）。“空间复用”简单说就是把一个像素当几块用来实现不同的聚焦距离。Nvidia在SIGGRAPH上展示的那个原型就属于这种。这个方法最大的问题就是分辨率大打折扣。我曾经试戴过，基本就是雾里看花。
“时间复用”呢，就是用高速原件来快速产生不同的聚焦距离，让人眼以为它们是同时产生的。这样的好处就是分辨率不损失。大家知道人眼的速度感知是有限的，很多显示器都是60Hz的，因为人眼能分辨的极限值一般就是60Hz（在某些高速内容比如游戏里可能达到90-120Hz）。这意味着什么呢，如果利用高速显示360Hz，就可以实现6个不同的聚焦距离。而有研究表明用6个聚焦距离加上一种线性混合（linear blending）的渲染算法就基本能实现从约30厘米到无穷远让人眼自然对焦[5]。
Magic Leap的技术是哪种呢？它最近demo用的哪种技术没有公开，但很有可能还是基于Brian的高速激光光纤扫描(scanning fiber)技术，也是一种时间复用的办法。Brian当年先试过只用一根光纤扫描不同聚焦距离，这样做明显对速度要求太高，后来用一个光纤束（fiber bundle/array)，比如16根，每个光纤有一点位置差，然后同时扫描得到不同聚焦距离。
这样的光场受现实系统的局限肯定不可能是连续的，都是被采样的（downsampled）。但是，即使是这样的光场投射到眼睛里也在理论上是跟真实世界物体光线进入眼睛是一个道理，因此可以实现true-3D。回到最初的问题，这也是为什么Magic Leap的技术重要的原因。现在你也理解了为什么Rony说“HoloLens会让人恶心”了吧？

第二篇文章是来自公众号“赛先生”的科普：

Magic Leap 核心技术揭秘--顾险峰老师 （2016-2-23）

这篇文章才是重中之重啊，读完之后有种Magic Leap也终于走出了黑盒的感觉，棒！

相比之下，我的介绍连入门都不算啊:(。