独家深挖Magic Leap最新专利 解密45亿美元估值背后牛逼技术

逐个解析Magic Leap光学模块和计算模块的多项专利技术。

▎智东西 编｜十四 小智

最受瞩目的AR公司Magic Leap目前已经完成8.27亿美元的C轮融资，总估值达45亿美元。

4月21日，美国专利商标局披露了其最新的7项专利，主要介绍了Magic Leap的光路模块的主要结构及相关的投影，图像传输和调制技术。

实际上，Magic Leap在中国以奇跃公司的名义很早就开始进行了专利积累。本期智能内参就来解读包括最新专利在内的Magic Leap光学和计算模块的多项核心技术。

在智东西（公众号：zhidxcom）分别回复关键词“美国专利”和“中国专利”获取以下全部专利报告。

以下，为智东西（公众号：zhidxcom）所摘选并编译的关键要点：

▎光学模块：

光学模块涉及到的专利共有8项，分别是：

1.人体工程学头戴式显示设备和光学系统

专利申请号：201180068447.7

特点：包覆型透视显示系统设计。

2.具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备

专利申请号：201380029550.X

特点：调制透视图像路径和虚拟图像路径。

3.三维虚拟和增强现实显示系统

专利申请号：201280067730.2

特点：选择性透明的投射装置。

4.具有主动中央凹能力的宽视场 (FOV) 成像设备

专利申请号：201380029492.0

特点：图像捕捉，宽视场图像的可控感兴趣区域。

5.使用波导反射器阵列投射器的多深度平面三维显示器

专利申请号：201380042218.7

特点：线性波导的二维阵列，模拟4D光场。

6.超高分辨率扫描光纤显示器

专利申请号：201480014814.9

特点：一种用于扫描电磁成像辐射的紧凑系统。

7.人机工程学的头戴显示设备和光学系统

专利申请号：201380058207.8

特点：自由形态光波导棱镜和补偿透镜，允许实现眼镜形状外观和宽的透视视场 (FOV)。

8.显示系统和方法

专利申请号：201480027589.2

特点：具体的外壳框架、透镜组合等。

光学模块的技术专利主要解决以下3个问题：

▎1、光路：使用波导反射器阵列投射器的多深度平面三维显示器

Magic Leap光学系统包含了一个图像生成源(随时间变化，提供一个或多个图像数据框架)，一个光调制器（配置与图像生成源关联的传输光），一个将图像信息直接传到用户眼球的基元（包括多个传输光反射器，包括第一眼球视角、第二视角……）。

▎2、用于VR/AR的可寻址焦点自由态光学系统立体视觉显示

这项系统的美国专利编号为20160011419，是应用于自由形态光波导的几种计算硬件和方法，及其具体制作方式。

该系统包括初级自由形态光学元件、拓宽视场的二级自由形态光学元件（平铺阵列）。此外，元件之间会设置多种 聚焦体系来调焦，避免辐辏调节冲突，进行渲染。

现实世界的光会通过设备出来的参考光，被合理地映射。而虚拟图像，可以通过计算，由系统利用参考光来产生。

▎3、核心技术：光场显示

据纽约州立大学石溪分校终身教授，顾险峰教授认为，Magic Leap的核心技术在于光场显示，即利用光纤阵列显示光场信息：激光经由透镜系统输出，在空中画出了一簇射线，同步地改变经过颜色和强度，一根纤维利用分时技术得到一幅图像。

其中，光场信息则来源于真实自然中采集，并转化而成的数字射线。计算单元可以利用渲染，生成各种角度的图像，无需建立几何模型、纹理模型和光照模型。

专利文件显示，Magic Leap利用可以进行摆动的光纤阵列，调节虚拟图像光信息的入射方向，以及聚焦情况。其中，单个光纤直径为700微米，光纤末梢直径仅50微米。

光纤出射的虚拟图像通过眼镜上可调节位置的反射单元，与现实世界的图像信息一起，入射到视网膜上。于此同时，现实世界的影像也可以通过眼镜上的可调反、透射光镜来调节清晰度。

也就是说用户可以主动选择性聚焦，一只虚拟的猫就放在了近处，你看它的时候就是实的，你看远处的城堡的时候，这只猫就是虚的，和真实情况一样，所以不会有晕眩感。虚拟图像和现实图像的清晰度调节效果如下图所示。

但这也就要求Magic Leap的设备能精确的调控机械部件，使得每一个纤维都稳定自然地颤动，并且颤动的模式要和数据传输相互同步，不受外界噪音的影响。

▎计算模块

计算模块涉及到的专利共有3项，分别是：

1.大量同时远程数字呈现世界

专利申请号：201280032550.0

特点：呈现一个或多个虚拟世界。

2.用于增强和虚拟现实的系统和方法

专利申请号：201280064922.8

特点：多用户交互系统，包括处理器、存储器、软件等。

3.用于增强和虚拟现实的系统与方法

专利申请号：201480026513.8

特点：数据计算、存储和传输。

计算模块的技术专利主要解决以下5个问题：

▎1、图像处理中枢

传统的显示技术只需要计算四维光场中的一个二维切片，而光场显示需要计算整个四维光场，其计算复杂度提高几个数量级，这是技术瓶颈之一。

Magic Leap图形处理系统的美国专利编号为20160026253。系统包含图像俘获装置和通讯耦合处理器。

其中，图像俘获装置用于获取一个或多个图像，该图像相当于AR头戴设备用户的视场；通讯耦合处理器可使图像俘获装置从一系列图像中提取一系列节点图，并在其中识别一系列稀疏节点和紧密节点，来形成归一化的节点图。

▎2、多硬件交互系统

这项系统的美国专利编号为20160005326。系统可为用户提供多维的，时间演化的，动作敏感的输入、输出的沉浸式，环境适应性体验。

该系统可用于联网设备，比如移动平板，并可传输适用于增强现实的三维、随时的内容模型。因此，现实世界中，用户通过联网设备，可将物理运动投射到虚拟世界。

此外，系统也采用了图像认知技术，来区分现实世界的物质，并显示在界面。此外，系统还能将电脑合成的虚拟图像重叠到现实图像中去。

▎3、多用户交互系统

这项系统的美国专利编号为20160100034，是允许两个或更多用户在包含虚拟数据，计算网络和设备的虚拟世界互动的系统。

系统包括一个或多个计算设备包括内存，处理线路，以及至少部分存储在内存并在处理线路内至少可以处理 部分虚拟世界数据的软件；其中至少虚拟世界数据的第一部分源于从虚拟世界本地的第一用户到第一用户。

计算网络用于将第一部分传输到用户设备来呈现给第二用户，这样一来，第二用户 就可以在本地体验到第一部分，因此第一用户虚拟世界的一部分就被有效地传送给了第二用户。

▎4、社会情感学习工具包

编号为20160026253的专利，介绍了Magic Leap社会情感学习工具包采集的数据以及调控的效果。

用于虚拟和 / 或增加用户体验的系统被配置为使得可以至少部分地基于具有来自诸如语音音调变化分析和面部识别分析(如由相关软件模块执行的)监测头部移动、 体温、 心跳等源的输入的可穿戴设备上的数据使与用户相关联的远程化身进行动画。此外， 可以以化身好像表达某种情感的方式使得化身角色进行动画。 例如， 在化身是狗的实施例中， 由人类用户的本地的系统检测到的高兴的微笑或语调在化身中可以被表示成摇着尾巴的狗的化身。

以上图的对比为例，可以基于在用户面孔上的微笑的面部识别， 或基于语音或说话的友好语调 ( 如由被配置为分析至麦克风(其可从用户本地地捕获语音样本)的语音输入的软件来确定， 使得右图的蜜蜂化身 进行动画以具有友好的微笑。

▎5、定位追踪

编号为20160026253的专利，还介绍了Magic Leap的定位追踪系统，主要由用户感测系统和环境感测系统协同作用来解释场景信息。

相应的传感组件包括了：接口系统100，服务器 110，网关组件 140，头戴式系统300，数据接口 302，显示器303，用户感测系统304，境感测系统306，处理器 308，传感器310，312。

其中用户感测系统 304 可以包括：

用于接收来自用户的语音输入的扩音器， 一个或多个红外照相机传感器， 一个或多个可见光谱照相机传感器，构造的光发射器和 / 或传感器、，红外光发射器， 相干光发射器和 /或传感器， 陀螺仪， 加速计， 磁力计， 近程传感器， GPS传感器， 超声波发射器和检测器以及触觉接口。

环境感测系统306：

用途：可用于通过检测和登记本地环境 （包括静态对象、 动态对象、 人、 手势和各种照明、 大气和声学条件）来映射用户周围的物理环境的一个或多个元素。在一些实施例中， 其可以包括嵌入到本地计算系统中的基于图像的 3D 重构软件， 其可操作以便对传感器 312 所检测到的一个或多个对象或信息进行数字重构。

功能：环境感测系统 306 提供了以下中的一个或多个 功能： 动作捕捉数据 （包括手势识别） 、 深度感测、 面部识别、 对象识别、 唯一的对象特性识别、 语音 / 音频识别和处理、 声源定位、 降噪、 红外线或类似的激光投影、 以及单色和 / 或彩色 CMOS 传感器 （或其它类似的传感器） 、 视野传感器， 以及各种其它光学增强型传感器。

构成：环境感测系统306可以包括上面提到组件之外的所有传感设施。包括用于接收来自本地环境的音频麦克风、一个或多个红外照像机传感器、 一个或多个可见光谱照相机传感器、 结构光发射器和 / 或传感器、 红外光发射器、 相干光发射器和 / 或传感器、 陀螺仪、 加速计、 磁力计、 近程传感器、GPS 传感器、 超声波发射器和检测器以及触觉接口。

传感器310包括：照相机或光学检测/扫描电路， 其能够检测用户的实时光学特征/测量结果， 例如以下中的一个或多个 ： 瞳孔收缩/扩张、 每个瞳孔的角度测量/定位、 球度（spherocity） 、 眼睛形状 （如眼睛形状随时间改变）以及其它解剖数据。

传感器 312 可以包括：通常面朝外部的照相机或扫描仪。

▎总结

除了计算、存储元件等方面的进步，可以看到，Magic Leap专利中光路模块设计方面很有亮点。

Magic Leap采用了大量的自由形态波导，来实现人工学设计，并辅以光路补偿。而将扫描电磁成像辐射集成化的成果，应用于AR设备，也很有新意。

不过，之前为卖点的仿神经网络，似乎还没有在这几份专利书中很明显的表现出来。

重要的事情再说一遍：在智东西（公众号：zhidxcom）分别回复关键词“美国专利”和“中国专利”获取以下全部专利报告。

---

智能内参

权威数据·专业解读 读懂智能行业必看的报告

在智东西回复“智能内参”查看全部报告

新起点新机遇，智东西2016招新

欢迎应聘以下职位

记者编辑岗：

#新媒体运营/编辑

#VR/AR行业记者

#智能汽车行业报道记者

#机器人/无人机行业记者

#智能家居/物联网行业记者

运营岗：

#活动/社群运营主管

欢迎自荐/推荐,简历至[email protected]