与Amnon Shashua的1小时：详解Mobileye自动驾驶进阶之路 ...

雷锋网新智驾（微信：AI-Drive）按：每年的 CES 上，Mobileye 不仅仅会回顾总结去年的发展、展望下一年的发展，还会对本行业的发展与未来进行一个深入的分析。Mobileye CEO Amnon Shashua 作为 Mobileye 的灵魂人物和技术布道者，他每次的主题演讲都是一大看点。

在本文中，你将了解到以下信息：

1、Mobileye 自动驾驶解决方案、自动驾驶策略；

2、地图与 REM；

3、ADAS 的全球趋势与进化之路；

本文由雷锋网新智驾根据 Amnon Shashua 的演讲整理而成（略有删减）。

2018 年的四组关键数字：28、20、7、56

2018 年是 Mobileye 硕果累累的年份。

我们有 28 个新的参与到客户的产品成功投入生产，包括 24 个汽车厂商，8 个 Tier1；其中 16 个来自中国，因此中国已经成为 Mobileye 的主要战略地区之一。

同时，我们发布了 20 个项目，覆盖 78 个汽车型号。我们不仅仅为未来做准备，还未现在的行业发展做出了贡献。

7 个项目安装了我们的最新芯片 EyeQ4。EyeQ4 是一个相当强大芯片设备，它已经安装在了宝马的 X5 车型中。

下一个数字是 56，我们有 56 个汽车产品拥有高级辅助驾驶功能，为用户带来超越安全之外的价值。

我们来看下一张图：2014 年到 2018 年 EyeQ 系列芯片销量。

我们选择 2014 年，是因为 2014 年我们首次公开募股。2014 年到 2018 年，我们实现了 46% 的连续增长。迄今为止，我们一共销售了 3200 万个 EyeQ 系列芯片，这说明有 3200 万辆汽车是由 Mobileye 的技术驱动。

在 Euro NCAP 的五星级汽车中，有 13 款汽车搭载的是 Mobileye 技术。这说明我们在汽车领域的领导力越来越强大。

这是宝马 X5，其中 3 个摄像头是由 EyeQ4 支持，它能从各个方面增强识别能力，拥有红灯警报、识别周围汽车/自行车、紧急刹车等功能。

同时，我们和大众集团合作，专注打造结合前置摄像头和 Roadbook 技术的 L2+。

说回到汽车，我们是如何让地图系统为汽车的发展提供更多价值的？

举个道路识别的例子，如果汽车行驶在道路标志特别不明显，甚至是没有标志的城市道路上，那么地图系统也能识别出道路。因为路上有很多车，系统可以收集这些车的数据传入到云端，从而实现道路识别。因此，就算道路上没有道路标识，我们也能识别道路。

再说说交通信号灯，地图系统还能提高 ACC 和 LKA。我们预计在 2019 或 2020 年发布搭载 EyeQ4 和高级地图识别系统的大众汽车。

我们还和中国的长城汽车签订了协议，未来三至五年内，长城汽车将把 L0-L2+的基于 Mobileye 技术的 ADAS 系统，集成到一系列车型上。为了适应中国独特的路况，双方还将在集成 ADAS 的同时，共同开发 L3 乃至更高级别的驾驶系统。

ADAS 的全球发展趋势

接下来，我们来看看 ADAS 的全球发展趋势。

上图的百分比表示 EuroNCAP 数据统计之下 ADAS 在汽车中的覆盖率，2016 为 12.8%，2018 年为 17.6%，2020 年预计为 20.3%，2022 年预计为 26.5%。

我们可以看到，ADAS 的发展势头喜人，辅助驾驶的技术发展并没有止步不前，它在不断进化，它在汽车中的比重越来越大。

这张 PPT 非常重要，它展示了我们的总体战略。

我们的战略总体来说分为两类：自动驾驶和辅助驾驶。一方面，辅助驾驶是可以促进自动驾驶的。另一方面，自动驾驶技术也能促进辅助驾驶技术的发展。

我们一直在想，自动驾驶技术的每一种功能，如何迁移到辅助驾驶中来，从而促进辅助驾驶的发展。在辅助驾驶中，我们有一个很明显的限制：成本限制。辅助驾驶的成本非常之高，但对于自动驾驶来说，成本并不是一个问题。

那么 ，我们如何让自动驾驶来促进辅助驾驶的发展？

对于这个问题，我们想了很多。下面，我想跟大家分享其中一个想法。在自动驾驶领域，我们有两个变革，但是人们喜欢将它们混为一谈。

其中之一是交通的变革，它被自动驾驶深深影响。随着自动驾驶的发展，交通发生了重大的变革，表现形式不胜枚举：更加智能的城市、更少的停车场等等。

另一个变革，是一个拯救生命的变革，如果道路上的每一辆车都是自动驾驶汽车，那么没有人将会因交通事故而死亡。

辅助驾驶，已经开始变成了一种拯救生命的变革。虽然辅助驾驶还没有完成这个变革，但是通过辅助驾驶，我们能够创造一种正确的技术（我将在本次演讲结尾处仔细说明），创造“零伤亡愿景（Vision Zero）"的未来。

“零伤亡愿景”意味着，如果每辆车都安装自动驾驶系统，那么车辆事故的发生率可以忽略不计，可以为零。拯救生命的变革来自 ADAS，交通变革来自自动驾驶。

我们把两种变革分开，这样我们就知道每种变革各自需要的技术是什么。

详解 Mobileye 自动驾驶解决方案

下面，我们来说说我们的自动驾驶解决方案。总得来说，我们的解决方法分为四种：

Visual perception and sensor fusion（视觉感知和感知融合）

Compute platform（计算平台）

Driving policy and RSS（驾驶策略和责任敏感安全模型）

Dynamic mapping（动态地图）

视觉感知和感知融合与传感器和数据相关，数据由摄像头、雷达、激光雷达等传感器收集，进入计算系统，创造360度环境模型，模型包括道路、交通灯、路标等。

同时，我们还需要计算平台来支持如此庞大的数据计算，这个平台需要非常强大，因为计算量相当巨大；同时考虑到成本问题，它还要十分高效。

此外，我们还需要驾驶策略和 RSS，这样才能保证驾驶的安全，同时还能在安全在合法的范围内取得一个平衡。

最后，我们需要动态地图，三年前我们创造了这个技术，说到地图，我们便会谈到它的升级，稍后我会提到它。

现在我们来说说 Mobileye 目前正在努力的五个方面：

Open EyeQ5(开放架构的 EyeQ5)：英特尔有自己的硅光子生产线，可以生产雷达所需的芯片，同时，它是开放架构的，到时我们的客户可以在芯片上编写自己的代码，自己来做融合。

Closed EyeQ5(封闭 EyeQ5) ：它不仅仅包含 EyeQ5，还包含我们的旧代芯片 EyeQ4、EyeQ3，它正是我们目前辅助驾驶用的芯片。

Surround Vision（环境视觉）：不仅用在辅助驾驶中，还用在自动驾驶中。

AV Series（自动驾驶汽车系列）：包括 360 度视觉、地图、驾驶策略、传感器等等。

AV Series+Maas platform（自动驾驶系列和 Maas 平台）：除了 AV Series，它还包括 Maas 软件系统。

请大家记住，我们所有与自动驾驶相关的东西，都与这五个方面有关。

接下来，我们来谈谈视觉识别（Visual Perception）。

视觉识别是个复杂的东西。现在，我只想说说它的基本原则，我把它称为“真正的冗余”。目前，我们的关注点在摄像头上，我们知道：摄像头在自动驾驶车辆中起了非常重要的作用，我们的目标是用摄像头实现自动驾驶。

但是，仅仅依靠摄像头实现自动驾驶，是相当困难的，因为摄像头提供的，并不是直接的 3D 信息，它就像我们的双眼，提供的数据很有限。

要实现自动驾驶功能，我们需要的是 3D 信息。虽然摄像头拥有高分辨率，但在开发者看来，摄像头提供的是一种“懒惰”的视觉。因此，我们还需要其他的传感器，比如雷达、激光雷达等，来给我们直接的3D信息。

但这样以来，便会出现一个问题：传感器太多了，会造成冗余。因此，我们需要让摄像头的功能更加强大，让它具有完整的、端对端的操作功能，这样其他的传感器加进来才是真正的锦上添花，才能实现真正的冗余。

这就是我们的哲学，我们不是说摄像头能解决所有问题，我们也不否认雷达、激光雷达等传感器的必要性。

因此，我们正在做两件事。

第一，我们要找到一个正确的方式，实现真正而非没有必要的冗余。

此外，我们还在做一个更重要的事，就是将自动驾驶技术迁移到辅助驾驶中来，减少辅助驾驶的成本。

现在的传感器是几万美元，乐观估计一下，将来也许会下降到几千美元，但是它的成本还是太高了，无法实现大规模运用。那么，如何减少成本，实现大规模的自动驾驶呢？

答案是摄像头。雷达和激光雷达都相当昂贵，但摄像头很便宜，它是你所能想象到的最便宜的传感器。20 美元就能买到一个质量很好的摄像头。

因此，要想减少成本，我们需要将重点放在摄像头上。因此，如果你想要影响辅助驾驶的变革，我们先要走通较为困难的路：利用摄像头实现自动驾驶。

在这条路走通了之后，我们再让它影响辅助驾驶的发展。这是一种战略性的思维，我们首先用真正的冗余实现自动驾驶，然后让自动驾驶促进辅助驾驶。

Mobileye 的自动驾驶策略

下面来说说自动驾驶策略。

如果你去到我们的展位，可以用 VR 体验到我们的自动驾驶汽车。汽车上一共有 12 个摄像头（前方有 3 个摄像头，角落里有 2 个摄像头朝前方、2 个朝后，2 个朝侧方，3 个用作停车），没有其他的传感器，没有 GPS。

图示上方是摄像头所拍到的景象，右边显示的是道路状况 3D 图。我们重点看看右边，蓝色车代表自动驾驶汽车，我们可以看到它越过了一个十字路口，给一辆红色的车让路，同时停下车等待突然进入道路的路人。这个 3D 图也是靠摄像头实现的。

谈谈计算平台

首先回顾下我们的芯片。EyeQ4 于 2018 年发布，EyeQ5 在刚刚过去的 2018 年 12 月推出，它比 EyeQ4 强大 10 倍。

目前，EyeQ5 已经有了订单量，我们将从 2021 年 3 月开始 EyeQ5 的批量生产。

总体来说，EyeQ5 是一个非常强大的芯片，低耗能，它是仅限硅的“开放式”芯片（允许第三方代码运行）——不仅能造福自动驾驶，还能造福辅助驾驶。

我们与安波福合作，为宝马打造2021年的自动驾驶汽车量产，这也是搭载了 EyeQ5 芯片。

驾驶策略 和 RSS

安全可以分为功能安全（Functional safety）和名义性安全（Nominal safety），大部分人关注的是功能安全，而我们关注的是常规安全，也就是说如何让我们的设计避免事故，即在系统设计之初就要确保不会给社会带来安全事故隐患，实现安全驾驶。

去年，我们与监管部门合作，提出了 RSS （Responsibility Sensitive Safety，责任敏感安全模型）模型，它是一整套数学公式，将人类对于安全驾驶的理念和概念转化成为数学公式和计算方式，用来界定什么样的驾驶行为才是安全的驾驶。

RSS 模型提出安全驾驶需要满足以下三点：

1、合理性。即要满足人们对“保持注意”的理解和判定，而不是天方夜谭地随意去定义。

2、有效性。一个合理的定义也有可能是完全无用的。

譬如这样一个听起来还不错的定义：在一车变道时，其他车道上行驶的车辆都不允许改变速度，不应该受到该车变道的影响。但是这个听起来挺“谨慎”的定义，在很多时候都不奏效，比如在你碰到恐怖分子的时候，甚至在加州繁忙的道路上，它都不可能实现。因为实际在变道的时候，其他车辆必须要减速才能让变道车辆实现换道。因此，安全驾驶不仅要合理，有效性也很重要。

3、可验证性，即该定义是可以进行验证的。也就意味着，必须要把所下的定义与机器进行实际结合，以验证该定义是否正确和有效，同时要证明没有蝴蝶效应。

这里的蝴蝶效应是指，开始时一个很小的无心之举，通过系统中其他动作的作用，最后导致了一场车祸。

下面我们来看看在 RSS 模型框架下的驾驶策略。

我们将驾驶策略分为四种：策略（strategy）、战术（tactics）、路径规划（path planning）以及控制（control）。

举个例子，策略表示“我想变道”，下面我们到战术策略，也就是说我已经决定了要变道，那么我需要决定我需要给哪辆车让道，要哪辆车给我让道，这两辆车之间的距离就是我变道行驶的距离。

这种决策是实时变化的，比如我已经决定了需要哪辆车给我让道，但这辆车不给我让道，那么如果我还是坚持我的想法，可能就会发生事故，所以我改变了主意。因此， 战术策略是一种“瞬间性”的决策，它会随着情况的变化而变化。

在以上两种决策中，机器学习起了很重要的作用。

接下来，是路径规划，它正是 RSS 运用的地方。它为执行战术策略而计划车辆行驶轨迹，这个轨迹必须是安全的。那么，什么才是安全轨迹？这个时候，RSS 就派上用场了。

最后是控制，已经计划好轨迹之后，就需要汽车进行控制，比如什么时候刹车。

所有这些策略，都是为了实现安全驾驶。

下面我给大家看一些例子，我想说明的一点是，我给大家看的所有例子，车内视角都是靠摄像头实现，不依靠任何其他的传感器。当然，这张是无人机视角鸟瞰拍摄。图中道路上有一辆车停在了路中间，因此道路上的车纷纷开始变道，中间那两带着我们 Logo 的蓝色车辆为自动驾驶汽车，我们可以发现，它的驾驶行为非常像人类，成功变道。

以上是车内视角。我们看到右边，带着 Logo 的蓝色车辆为自动驾驶汽车，前方红色车辆为自动驾驶汽车决定让道的车，绿色车辆为自动驾驶汽车决定“抢道”的汽车，这个决定，是战术决策，是一个瞬间的决定。

自动驾驶汽车的变道距离，正是红色车辆和绿色车辆之间的距离，如果绿色车辆不让自动驾驶汽车抢道，那么自动驾驶汽车将会改变决定。

这并不是一个简单的操作，但自动驾驶汽车处理地相当优秀。

下面还是类似的道路设定，唯一的不同是多了一位行人。虽然道路情况复杂，但蓝色的自动驾驶汽车还是成功地避开车辆和行人完成了变道。

下面的道路设定是城市道路。我们可以看到自动驾驶汽车一路前行，周围有正在行驶的汽车，也有停下来的汽车。

当它行驶到了一条交叉路口，一位行人正在穿过道路。这时候，自动驾驶汽车停下来等待行人穿过，等行人过了马路，自动驾驶汽车继续行驶。接下来，自动驾驶汽车给右边过来的汽车让路，然后再成功左转。

这是车内视角。

下面我们来看看部分道路被堵住时，自动驾驶汽车的处理方式。左边停下来的卡车堵住了道路左侧，自动驾驶汽车顺利地从卡车旁边驶过。

其实，这是一个比较困难的决策，因为自动驾驶汽车需要判断这道路是一个交通堵塞状况，还是卡车停在了路旁。但是，基于道路上其他车辆的处理方法，自动驾驶汽车做出了正确的决策。

最后一个例子。自动驾驶汽车穿过十字路口直行，左侧一辆公共汽车左转进入前方道路，自动驾驶汽车给公共汽车让路，同时左侧过来的另一辆小汽车给自动驾驶汽车让了路。

因此，我们的自动驾驶汽车的处理方式与人类非常相似，它在 RSS 模型框架下，实现了安全驾驶。

我们与多方都成功进行了合作，其中比较大型的合作包括法雷奥、百度和中国 ITS。

法雷奥是我们最近的的 Tier 1 合作伙伴，法雷奥和 Mobileye 签署协议，表示未来会将 RSS 加入其自动驾驶研发项目并联合其他工业标准一起使用并同意共同制定行业标准。

几个月前，我们与百度签署了合作协议。百度在今年年初宣布计划在其 Apollo 开源项目及 Apollo Pilot 商用项目中部署 RSS 模型，Apollo 项目是 RSS 模型的首个开源应用。

我们最大的合作是与中国 ITS(Intelligent Transport System, 中国交通部下属的标准制定团体—中国综合智能交通产业与服务联盟 ）签订的合作，ITS 已经提议将 RSS 模型作为即将出台的自动驾驶安全规范的框架。我们不仅仅与中国政府合作，还与包括蔚来、高德地图、华为在内的多家中国科技公司进行了合作。

同时，我们的合作伙伴还在不断扩大之中。与中国智能交通系统的合作，是我们与监管部门合作的绝佳例证。

其实，这些合作与 Mobleye 的技术无关，它与技术分离开来，它并不是说与我们合作的公司开发自动驾驶汽车需要安装 Mobleye 摄像头，也并不是说需要 Mobleye 的策略来实现自动驾驶，而是说在 RSS 这个安全框架之下，成功实现安全的自动驾驶。

地图与 REM

下面来说说地图和 REM（道路经验管理）技术。

REM 是通过众包的形式为自动驾驶汽车提供高精度地图服务，也就是俗称的“全球路书（Global Roadbook）”。

首先，我们说说 REM 数据处理过程。目前，所有的自动驾驶汽车都在前侧安装摄像头，而大部分摄像头是由 Mobileye 的芯片驱动。

如果自动驾驶汽车安装的 EyeQ4 芯片，那么首先它需要实现信息收集，也就是通过芯片驱动的摄像头收集道路和路标信息。

第二步，收集的信息被匿名化并被加密。

第三步，加密的信息储存到云空间中，生成自动驾驶路书。

第四步，地图信息分配到自动驾驶汽车中。

最后是定位，在10厘米的精确度范围内，自动驾驶汽车在路书中进行定位。

目前，我们已经与宝马、尼桑等汽车公司进行了合作，在自动驾驶汽车行驶过程收集信息并传送到云端，让路书更加强大。

我们看到这个视频，左边黄色长方形表示路标，白色表示道路边缘、车道标识线、中心车道，摄像头可以收集信息，传送到云端，然后进行高精确度的实时定位。右边是相同数据在谷歌地图上的成像。

目前我们的传输数据量是 1000 米 1000 字节，这个量是非常重要的。我们需要将数据传输到云端，它是需要低成本的，目前我们的成本是一辆车一年仅花费 1 美元。

如果成本较高，那么没有汽车制造商将会采用这个系统。数据从云端传输到汽车的过程中，如果产生十亿字节的数据，那么也将会造成成本过高的问题。

因此，我们的系统是低成本的系统。

目前，我们已经和日产等企业合作，完成了在日本的高精度地图采集，并计划在不久的将来合作发行日产L3 自动驾驶汽车。24 小时之内一键自动生成地图，这与当今的手动地图相比，是一个巨大的进步。

每公里 10 KB 压缩收获数据、最后的地图压缩至 400MB，每个紫色地图图块代表 1 平方公里、平均瓦片大小仅为 30KB。数据精确度小于 10 厘米、整体收集超过 110 万地图特征，覆盖 32 万个信号、30 万个信号灯、25 万车道线、19 万路障等。

我们还与宝马合作，大部分宝马自动驾驶汽车安装了 EyeQ4 芯片，它们都将收集数据传输到云端。

REM 的商业应用主要分为三方面，第一个为自动驾驶地图，第二个是 L2+/3/4 自动驾驶，这也是自动驾驶反哺辅助驾驶的表现，第三个是非机动领域应用。

REM 在二级市场上也得到了应用，首先我们与政府合作，签订了三个地图协议；其次，我们启动了三个智能城市项目；同时，我们还在欧洲和美国成立了自动驾驶车队，覆盖到 2 万辆自动驾驶汽车。

我们的合作范围覆盖到上图的国家、城市、公司和项目。

其中，值得一提的是我们与英国国家测绘机构——英国地形测量局（Ordnance Survey）达成了一项合作协议，旨在为英国组织机构和企业提供高精度定位数据。使用地图改善企业与城市之间的协作有助于提升城市的智能化水平，让城市道路更安全。

英国地形测量局领先的地理空间和技术专长将与 Mobileye 基于汽车摄像机的测绘能力相结合，为能源、基础设施和其他领域的客户提供全新、准确和可定制的位置信息服务。

利用我们的技术，相关测绘车辆将收集大量关于公路网和路边基础设施的位置数据，然后将收集的数据与现有的地理空间数据库相互参照对比，从而以惊人的细节和精度绘制英国道路和周围地区的精确地图。

依靠双方的合作，英国测绘局可以和我们一起提供基于位置情报数据的定制解决方案，使现有行业和发展中行业的公司能够运营更智能、联系更紧密的业务。例如，公用事业公司可以利用这项服务，获取其资产在地面上的准确位置，如沙井盖、灯柱、电线杆等。通过加强对地上和地下资产的了解，这些公司可以更有效地规划和管理维护需求、支持其他必要的工作。

除了未来的自动驾驶汽车外，测绘创新还可以被应用于其他领域。双方的此次合作说明 Mobileye 独有的测绘能力可以将位置数据的价值延伸到包括智慧城市在内的新的细分市场。此外，本次合作的关键在于以匿名的方式向企业和政府提供此类数据以保护隐私，而 Mobileye 独有的测绘方法就能实现该需求。

我们还与大众和 Champion Motors 合作，计划于明年初推出首款自动驾驶打车服务，分工如下：Champion Motors 负责运营车队，大众将提供车辆，而 Mobileye 将提供自动驾驶系统。这个项目将于 2019 年初开始运行，并逐步于 2022 年实现商业化。

同时，我们与北京公交集团进行了合作，北京公交集团是全球最大的城市公共交通公司，开展地面公共交通客运业务、公共交通投融资和资产管理、汽车服务贸易等业务。

此次三方合作将通过利用北京公交集团丰富的运营经验和 Mobileye 的自动驾驶工具——即一套具备第四级无人驾驶能力的、体系完整的自动驾驶系统，为中国公共交通的发展和部署提供可商务化的自动驾驶解决方案。

ADAS 的进化之路

Mobileye 已经将 RSS 模型重新针对 ADAS 产品进行了开发，提议将其作为 AEB 技术的一种预防性补充和增强。

目前这项技术内部代号为「APB 自动预防性刹车」，即「Automatic Preventative Braking」的简称。由于 RSS 模型的公式能够判断出车辆进入危险环境的时刻，因此 APB 技术能够通过主动施加轻微、幅度很小的预防性刹车来引导车辆回到安全位置。

APB 系统是自动紧急制动系统的增强版，可使用公式来确定汽车何时会发生危险状况。并且在潜在危险发生时，可通过让汽车减速、逐渐停止，来防止发生碰撞事故。

APB 通过采用几乎不会让人注意的预防性制动而不是突然制动，帮助车辆恢复到更安全的位置，从而防止碰撞事故发生。APB 不会理会阻碍交通的障碍物，而是主动调整车辆速度，以便在必要时保证安全，从而可在不影响交通的情况下提高安全性。

如果 APB 能够应用至任何一辆安装有前置摄像头的汽车上，它将能够大幅降低因驾驶策略错误引发的追尾事故。而一旦给这些车辆增加环视感知的能力并将 REM 地图应用至该模型中，那么 APB 将有机会应用至更多场景，这意味着几乎所有因策略不当引发的碰撞事故都可能被扼杀在摇篮里。

同时，配备环视摄像头传感和定位感知功能的 APB 系统可以消除「几乎所有」的追尾事故。我们希望通过采用此类技术，可将因错误驾驶决策而导致的道路交通事故伤亡人数接近零。

我们近期发表了名为《Vision Zero: Can roadway accidents be eliminated without sacrificing traffic throughput?（零伤亡愿景：能否在不牺牲道路吞吐量的前提下消除道路交通事故？）》，提出了 APB 这样的技术对 Mobileye「零伤亡愿景」的实现十分关键。

我们希望通过 APB 的大规模应用来降低道路交通事故伤亡率。此外，APB 的使用也能够降低类似限速带等道路基础设施的投入成本，因为它在必要时能够主动调整车速保证安全，但并不会破坏正常交通流速造成拥堵。因此，「零伤亡愿景」是可以实现的，在我们的论文中，我们用数据证明了它的可能性。

在自动驾驶领域，我们可以进行两种变革，第一种交通变革，它是显而易见的，是有价值的。另一种，是道路安全变革，也就是拯救生命的变革。它是可以依靠技术实现的，而这个技术，其实并不昂贵，不需要成千上万美元，它只需要几百美元，却能拯救生命。因此，我们可以实现道路安全变革。

这就是我这一小时的演讲要传达的主要信息。

雷锋网(公众号：雷锋网)推荐阅读：

四年内让 L4 自动驾驶落地？谈谈 Mobileye 的光荣与梦想

让 EyeQ5 走上开放之路，Mobileye 是认真的吗？