当自动驾驶驶入虚拟现实——苹果的沉浸式自动驾驶系统

0 引言

自动驾驶汽车将人们从汽车操控中解放出来，减少交通事故，是汽车未来的发展趋势，具有巨大的应用价值，成为传动车企以及科技企业竞相追逐的对象。谷歌在2009年就开始进行自动驾驶实验，先发优势让其Waymo成为业界标杆。苹果多年来都被评为创新“NO.1”，自然不甘落后。

1 苹果的造车梦

2014年，苹果启动自动驾驶项目，志向高远，准备造一辆全新的“苹果汽车”，提供全新的驾驶或乘坐体验，革传统汽车的命，就像当年的IPhone手机横扫诺基亚、摩托罗拉一样，再造一个汽车苹果。但汽车毕竟与手机不同，苹果的目标一降再降，经历了从“一切自己来”到“合作伙伴来帮助”，再到“帮助合作伙伴”——提供传感器及软件系统，研发重点放在自动驾驶的核心技术上。合作伙伴也从期望的奢侈品牌“宝马”到“奔驰”，再降为大众品牌“大众”。苹果的汽车梦想碎了一地，但仍未放弃。

以苹果的创新能力，其一举一动皆牵动科技界的神经。苹果CEO把自动驾驶技术比作“所有 AI 项目之母”，自动驾驶研发高度保密，外人难以一窥究竟。2018年7月10日，前苹果自动驾驶工程师张晓浪涉嫌窃取商业机密罪，被苹果告发，可能面临10年的牢狱之灾。法院文件显示，在苹果大约5000人（3.7%）为苹果的汽车项目工作，或对该项目很熟悉。而在这5000人中，有2700名核心雇员，获得访问加密数据库的权限。

苹果鲜有资料宣传报道自己的自动驾驶汽车。专利具有法定的公示性，可以为了解苹果的自动驾驶汽车打开一扇窗户。本文根据公开的专利将介绍了苹果与AR有关的自动驾驶汽系统专利技术，包括沉浸式虚拟显示、增强现实显示等。

2 “沉浸式虚拟显示”(WO2018057980A1)
2.1专利技术介绍

苹果于2017年9月申请了“沉浸式虚拟显示”专利，根据该专利，未来的自动驾驶汽车，可以通过虚拟现实（VR）系统为乘客提供沉浸式乘车体验。车辆的虚拟现实系统与车辆控制系统可以进行交互，在行进中VR系统不仅能够根据行车数据提供虚拟现实场景或者增强现实场景，还能向车辆控制系统发送信号，使虚拟场景与车辆运动状态协同，附以主动系统（如声音、空调及主动座椅），为乘客提供增强的沉浸式体验。这是传动固定的VR无法实现的。

VR系统可以调整虚拟环境以适应不同乘客的偏好，如通过调整视觉提示经过乘客的速度和数量，使乘客感觉的车速与实际车速不同，这既可以防止高速行驶时某些乘客出现晕车，也可以使某些乘客在龟速行驶时有飞车般的感觉。另外，VR控制系统甚至可以检测乘客是否已经晕车或出现晕车征兆，从而改变虚拟现实环境，以减轻晕车，措施包括在乘客下方显示虚拟地平面、减少虚拟环境中标示汽车运动的视觉提示或减慢视觉提示、减少虚拟内容提供空旷的虚拟环境、在虚拟环境提供锚定物体等。

玻璃车窗影响汽车部件结构的完整性，VR系统可以减小车窗面积或消除车窗，未来汽车的车窗不再是必要的选项。通过车内显示的虚拟现实，乘客也能够看到外部的真实世界。VR系统还可以让乘客产生所乘为“豪车”的错觉，改善乘车体验。

自动驾驶与虚拟现实相结合，乘客可以在行进中工作、学习提高生产效率，也可以在乘车过程中娱乐，放松身心。根据该专利，苹果向我们展示了梦幻般的虚拟现实乘车体验，如可以是工作场景，在虚拟会议室或虚拟平板卡车上举行多人会议，参与者甚至可以选择不同的会议虚拟场景；可以是娱乐放松虚拟现实，乘坐独木舟在江河中漂流，在滑翔机翱翔俯瞰风景，实际车辆行驶的转向或曲线行进、暂停也能够投射进虚拟现实场景中，VR系统还能够指令车辆系统配合虚拟场景产生身体感知，提高真实性；可以进行穿越，穿越至另一个真实的地点（如伦敦的大街）、虚拟的城市或景观；可以在虚拟公路上进行赛车、在后世界末日的僵尸中穿行；还可以将真实或虚构的人物集成至虚拟系统，作为虚拟乘客，提供个性化服务。

2.2 专利技术实现方式

沉浸式自动驾驶主要通过VR控制器和VR投影设备来实现，其中VR控制器配置为获得传感器的输入，渲染虚拟内容，将虚拟内容的运动或加速与车辆同步，并将虚拟内容传送至VR投影设备，提供虚拟现实替代真实的环境。VR控制器还可以指令车辆控制系统，在限度范围内引发反应，如刹车、加速、转向、空调风扇风速风向变化及主动座椅的移动倾斜，为乘客提供身临其境的感知；还可以根据乘客的状态改变虚拟现实场景，避免晕车。

2.3 专利技术评价

苹果的沉浸式自动驾驶技术并非原创，实际上本田公司早在2015年就提交了沉浸式自动驾驶相关专利申请，技术解决方案基本相同。本田的沉浸式自动驾驶也明确提到了AR控制器接受车辆数据，并渲染虚拟现实场景，根据车辆的运动及驾驶同步虚拟内容的运动状态，可以最小化晕车等。但是苹果的专利技术可以通过AR控制器对车辆控制系统发出指令，在限度范围内反应以配合虚拟现实场景，提高乘车体验，并公开了消除晕车的具体手段，这些都是本田专利所未公开的。

3 增强虚拟显示专利（US2018089900A1）

增强虚拟显示专利与上述沉浸式虚拟显示专利的说明书相同，但要求保护的技术方案并不相同。根据该专利的权利要求书，VR控制器通过VR投影设备，在车前将用户设备（如笔记本计算机）的显示屏以固定距离3D投影显示。显示屏输出的内容传送到VR控制器，在这里渲染产生虚拟内容，在现实的环境中虚拟以窗口显示或者在虚拟环境中以窗口显示。即通过在车的前方，投影渲染用户设备显示屏的内容，不仅可以防止乘客晕车，还可以利用乘车时间工作、学习或娱乐，一举两得。

4 增强现实显示（WO2018057987A1）
4.1专利技术介绍

苹果还申请了名为“一种利用立体图像的自适应车辆增强现实显示器”。该专利技术通过AR系统，获取预先生成的现实世界现场3D数据模型，从而对车辆传感器获取的现场3D数据进行补充或增强，改善AR场景的渲染，生成增强的3D图，并将其投射到风挡玻璃上，将车辆行驶前方的场景以AR的方式呈现。

预先生成的3D网格数据是车身周围360度真实环境记录，AR系统利用该3D网格数据，对车辆传感器探测范围外的环境信息进行补充；在传感器被阻挡或受限时，还能够补充渲染图像数据。预先生成的3D数据一般在云端存储，AR系统可以通过无线方式查询获取，在行进中实时对车辆传感器获取的数据进行补充和增强，改善3D图像的渲染能力。

通过该专利的技术，可以提供更多路况信息，比如提醒司机视线之外值得注意的信息，或者是被前车遮挡的视野信息。而在传感器失效或者功能受限的条件下，如遭遇大雾、大雪，能见度低，或者行进在弯曲的山路，被前车阻挡等，汽车传感器可能难以直接创建外部区域的准确图像，预先储存的云端3D数据则可以对现场虚拟内容进行补充，并帮助车载系统准确给出预判路线。

4.2专利技术实现方式

实现该技术的系统包括投影装置和AR控制器，其中AR控制器承担着查询获取预先生成的3D数据、获取传感器数据、生成3D图像的功能。

4.3 专利技术评价

苹果的利用立体图像的自适应车辆增强现实显示技术也并非原创，已被德国博世公司捷足先登，所采用的技术方案基本一致。但是，苹果的专利技术还是有所改进，比如利用可见表面与太阳的方位关系，进行实时渲染调整等。苹果公司的自动驾驶起步晚，在别人的技术基础上改进用户体验，还是很有意义的。

5 不是感想

苹果的自动驾驶汽车研发高度保密，这与乔布斯的精神门徒“贾布斯”形成鲜明对比。贾布斯以PPT造车闻名于世，在这点上乔布斯可能连当“贾布斯”学生的资格都不够，苹果的厨子更是望尘莫及。事实上，“贾布斯”PPT造车学的是特斯拉的马斯克，却宣称是乔布斯的门徒，拜错了师门。当然，造车计划拖垮了乐视，让股民与投资者血本无归，贾布斯也远走异乡，挂牌老赖，这是后话；能否凭借美国版“造车”东山再起，荣归故里，这是未来的话。成也造车，败也造车，东山再起也要靠造车，可见，造车对一个科技企业的影响之大。

6几点感想

（1）无论是沉浸式自动驾驶还是增强现实显示，苹果均非原创。在前人的研究基础上进行技术改进，是最常见的创新方式，苹果也概莫能外。颠覆性的创新毕竟是少数。苹果公司的自动驾驶起步晚，在别人的技术基础上改进用户体验，还是很有意义的。

（2）电动汽车、自动驾驶是未来汽车技术的发展方向，汽油车退出历史舞台只是时间问题。科技公司如谷歌、百度、苹果投入重金研发，成为汽车的新玩家，以期弯道超车，改变汽车市场的传统格局。

（3）中国是全球最大的汽车生产国和消费国。但中国汽车行业的“市场换技术”策略已经失败，汽车合资公司沦为外资汽车公司的生产基地，鲜有创新。国有汽车企业缺乏技术和人才优势，无法承担引领汽车未来的重任，与国外合作也会继续走“合资”的老路，沦为附庸。

（4）科技企业如百度、初创公司、民营车企能否突围还是未知，但中国有庞大的市场，复杂的道路环境，为自动驾驶的研发提供了基础优势。但是，科技公司与汽车制造商如何合作、责任如何分配也会成为一个问题，毕竟汽车涉及安全，不是手机可以比拟的。

本文作者：泊头子
微信公众号：专利方舟
本公众号已经开通“专利问答”栏目，如有专利方面的问题可向作者提问，分享交流。详情见《本公众号拟开通“专利问答”栏目的通知》。