自动驾驶多传感器融合

12月28日，百度Apollo平台携手国内激光雷达公司禾赛科技扔下一颗名为Pandora的重磅炸弹，此举将极大地加快无人驾驶落地的进程，却也会让不少自动驾驶初创公司陷入无比尴尬的境地。

简单地说，Pandora指的是一套以激光雷达、环视摄像头模组、多传感器融合和感知识别算法为一体的自动驾驶开发者套件，它实际上是一种新型的“多传感器融合”技术。

通常，业界所说的“多传感器融合”，都是指对摄像头、激光雷达、毫米波雷达、超声波雷达等多种传感器各自分别收集到的数据所做的“数据融合”，而Pandora的做法则是“硬件层面的融合”，即在硬件层面就将摄像头、激光雷达集成到一起，然后再将采集到的数据统一输送到计算平台。

在Pandora的开发过程中，禾赛主要负责硬件产品的设计和制造，而百度Apollo负责整体系统的定义和算法的适配。但目前尚不清楚，Pandora中采用的激光雷达，是不是禾赛的混合固态Pandar40。

为什么要做Pandora，它能解决什么问题呢？

禾赛方面认为，对大多数涉足自动驾驶的公司来说，搞定一套传感器方案，这个看似简单的工作，却往往需要耗费一个小团队至少6-8个月的宝贵研发时间，才能勉强做到“不拖后腿”，而这又仅仅是“重复发明轮子”的一个过程。Pandora就是为了解决这样的研发痛点而生。

做“硬件层面的多传感器融合”，Pandora并不是第一家，硅谷激光雷达公司AEye早在2013年成立之初就这么干了；《建约车评》在12月18日报道的硅谷激光雷达初创公司Innovusion也采取了激光雷达和摄像头在硬件层面融合的方案。

禾赛科技CEO李一帆和百度Apollo主任研发架构师王亮都在这次Pandora的发布会上详细解释了硬件层面的多传感器融合对整个行业的积极意义，随后，《建约车评》也采访了地平线创始人余凯、驭势科技创始人吴甘沙、主线科技创始人张天雷、智行者科技创始人张德兆等多位业内人士，多位受访者一致认为，像Pandora这种多传感器融合方案，是“大势所趋”。

总的来说，Innovusion和禾赛这种硬件层面的多传感器融合方案，最明显的好处有以下几点：

1.提高了探测的可靠性

我们大家理解的“点云”，其实并不是激光雷达的原始数据。点云只是原始数据经过“过滤”后形成的产物，真正的原始数据可能比点云的数据多1000倍，也就是说，超过点云数据900倍的原始数据，都在传感器里“藏着掖着”，没有被输送到中央计算系统——这些数据如果被充分利用起来的话，会有助于提高系统对外部环境的感知能力。

据Innovusion创始人鲍君威介绍，硬件端的融合，恰好可以充分利用起这些数据，再加上激光雷达和摄像头分辨率的自然匹配，极大地提高了三维空间重构以及物体探测的可靠性。

2.解决了数据同步的问题

在常见的那种“数据融合”下，来自于不同的传感器并经过汇总的数据在软件层融合的过程，往往需要几十毫秒、上百毫秒的延迟——如果不同厂商做的传感器没有同步的机制，还需要额外花很大力气做同步；同步不好的话，同一个物体会由于运动造成不同传感器探测到的空间位置的不一致，给后续融合造成额外的困扰 。而在硬件层面的融合，则不会存在这种问题。

3.节省计算量，降低功耗

硬件端的融合还减少了对计算量的要求，提高了运算处理的效率。

站在摄像头的角度看，跟激光雷达在硬件端融合，检测到的信息就直接是三维的，不像之前那样只能检测到二维信息，然后第三维“靠猜”了；站在激光雷达的角度，跟摄像头的融合，检测到的信息直接带有颜色，可以分类，不需要后端再处理一次了。

从产品性能的角度，节省结算量，就是提高效率；而站在用户的角度，节省计算量，就可以降低功耗、降低对硬件端的性能要求，进而降低成本。

4.帮用户节省时间

Pandora不是激光雷达和摄像头的机械式拼凑，而是一个匹配了算法和处理器的有机系统，用户可以“拿走即用”，而不是像以前那样从不同的供应商处拿到不同的传感器后还得再花个大半年时间进行匹配、调试。这就会帮用户节省很多时间，让他们把时间投入到自己更擅长、也更有价值的事情上面。

5. 降低集成难度

激光雷达和多个摄像头的一体化机械设计，使总体积明显变小，布线也简单多了，更方便主机厂的集成安装。

吴甘沙认为，Pandora所提供的前融合方案，会是一个大方向，只是当前因为激光雷达的价格太高，还不能成为主流，但2-3年后，一旦激光雷达的成本降低到1000美元以下，跟摄像头融合起来就很厉害了。

Pandora将优先为Apollo联盟成员提供技术支持和产品信息，并且，Apollo成员还可享受最佳供货期和最优购买价。这个重磅的推出，可能会吸引更多的主机厂及Tier，甚至是无人驾驶初创公司加入Apollo生态。

但并非是“你好，我好，大家好”。一旦Pandor的各种“用户体验”经过验证，将会有不少原本采用“别人家的激光雷达”的用户“倒戈”，这个时候，那些“体验不佳”的方案将会受到极大冲击。

起初，一些激光雷达公司也许会有一点危机感，但他们可能很快就发现，激光雷达和摄像头在硬件端的融合，难度并不大，他们自己也可以做。然后，相关的Tier 1也会跟进。再然后呢？

“多传感器融合”（数据融合），一直是Momenta、pony.ai及Roadstar 等诸多无人驾驶初创公司的主要技术方案，现在，激光雷达厂商和Tier 1都来做“多传感器融合”，并且，把融合“前置”到硬件层，不仅使用更方面，而且性能也更好，这......看到这样的消息，一些“多传感器融合“的技术方案供应商可能“整个人都不好了”。

左边，是来自原来的“潜在客户”Tier 1们的“降维打击”；右边，是来自那些原先只能做它的供应商的激光雷达厂商的“升维打击”，技术方案供应商，处境将无比尴尬。

让这些初创公司去投靠禾赛这样的激光雷达公司，它们当然不会甘心；相比之下，投入Tier 1的怀抱，为Tier 1做“多传感器融合”——不是它们自己那老一套的融合方案，而是类似于Pandora这种融合，可能已是“最好的结局”。

一点补充：

不过，并非所有人都对Pandora及其所代表的新技术盲目乐观。主要有以下几种声音——

1.余凯认为，Pandora这样的标品打包方案，应该会有很多无人驾驶企业感兴趣，但“估计离车规级量产版本还有很长距离”。

2.某激光雷达企业COO认为，在硬件端就将摄像头和激光雷达融合，最大的弊端在于，灵活性不足。有的用户，可能就希望摄像头和激光雷达安装在不同的地方，就希望用某一个款特定的摄像头，而“硬件层的融合”却杜绝了这种可能性。最终结果可能是，只有那些技术实力不强、没有能力自己做融合的技术会采用Pandora，而融合能力强的用户还是会自己研究传感器方案。

3.吴甘沙虽然也看好Pandora这个方向，但他也有一些疑虑。“以前的一些融合产品，如德尔福曾在2013年推出将雷达和摄像头集成到一起的驾驶辅助系统RACam， 大陆也在2015年推出过一款将单线激光雷达和摄像头融合在一起的‘多功能摄像头激光雷达’（MFL）中，但也并没有做得有风生水起。”

4. 在Roadstar创始人佟显侨看来，Pandora在本质上就是个Super Sensor，和Depth Camera”没多大区别。佟显侨还是对Roadstar所采用的多传感器融合技术更有信心。

Roadstar的多传感器融合技术，既不同于Pandora的“在硬件层次融合”，也跟其他无人驾驶初创公司的“数据融合”有很大的不同——通常的“数据融合”，都是先等各传感器收集到的原始数据再经过计算处理后再融合，而Roadstar则使用独创的算法DeepFusion，对各种传感器获得的原始数据进行深度融合。

这种深度融合数据算法使深度学习所需要的训练数据大幅度减少，用4000个数据就能超过传统非深度融合学习算法15万个数据的效果。并且，由于传感器的物理特性互补，导致很多LiDAR和Camera下的Corner sense都可以别识别，导致Corner Sense降低到传统算法下的1%。如此一来，就降低了对路测里程的要求。