综述：自动驾驶应用中知识增强的机器学习方法（一）

arXiv2022年5月10日上传论文“Knowledge Augmented Machine Learning with Applications in Autonomous Driving: A Survey“，作者来自德国多个tier-1公司和一些研究所。

代表性数据集的存在是许多成功人工智能和机器学习模型的先决条件。然而，这些模型的后续应用通常涉及训练数据中表现不充分的场景。其中原因是多方面的，从时间成本限制到伦理考虑等。因此，这些模型的可靠性，尤其是在安全-紧要的应用情况，是一个巨大的挑战。要克服纯数据驱动方法的局限性，并最终提高这些模型的泛化能力，关键在于利用额外的、已经存在的知识来源。

此外，即使在表征性不足的场景，符合知识的预测对于做出可靠和安全的决策也至关重要。这项工作概述文献中基于数据的模型和现有知识结合的现有技术和方法。已经确定的方法按照类别集成、提取和整合进行内容编排。特别注意的是在自动驾驶领域的应用部分。

全文93页，其中参考资料占了30页，880个参考资料。

该文目录如下：

数据驱动学习，首先是深度学习，已经成为当前绝大多数人工智能（AI）和机器学习（ML）应用中的关键范例。许多监督学习的模型，其出色性能主要归功于大量标注数据的可用性。突出的例子是图像分类和目标检测、序列数据处理以及决策。不利的一面是，这种前所未有的性能是以缺乏可解释性和透明度为代价的，这也导致了所谓的黑盒模型，不允许简单直接的人工检验。

因此，将数据驱动的方法转移到安全-紧要的应用程序成为了一个重大挑战。通常，在这些情况下，由于高获取成本，或者至少出于伦理原因，标记数据比较稀缺。此外，开发人员和用户都假定需求能够理解所部署模型推理的决策。为了解决这两个问题，开发知识源的方式，如物理基本定律、逻辑数据库、某些场景的常见行为或简单地反例等，是发展纯数据驱动模型去增强抗干扰能力、更好地泛化未知样本、以及和安全可靠行为的现有原则保持一致的关键。

2.1 感知：作者是Rizvi, Munir, van Elst

计算机视觉方法和一般的机器学习（ML）方法在过去几年中有了显著的改进。各种不同的方法能够准确地解释图像或视频中呈现的情况。即使有了这样的进步，在某些情况下，ML方法的反应与人类不同。造成这种差距的主要原因是所学模型缺乏背景知识。

ML方法只考虑训练数据中存在的模式，而人类拥有可以帮助他们更有力地解释危急情况的隐性知识。在自动驾驶场景，也是一般情况下，不可能针对道路上可能发生的每种情况去训练模型。为了给行人和自动驾驶车辆提供更安全的环境，重要的是将知识并入负责做出重要决策的模块中。

2.2 环境理解：作者是Bogdoll, Vivekanandan, Qureishi, Schunk

配备4级或5级自动驾驶系统的车辆有望在其ODD内掌握各种情况。由于许多情况在现实生活中并不经常发生，基于ML的系统很难在已经训练过的领域进行推断。因此，将基于规则/知识的算法和领悟，集成到ML系统中，这样的混合方法有可能将两个世界的最佳特性结合起来——出色的总体性能和对罕见情况（如极端案例）的改进处理。

2.3 规划：作者是Bührle, Königshof, Vivekanandan, Nekolla

L5级自动驾驶车辆，预计将在各种ODD发挥作用。虽然安全舒适驾驶的基本原则保持不变，但交通法规、习惯行为和场景结构层面的具体实施可能会发生变化。将知识纳入运动规划系统将通过增加可追溯性（例如，在碰撞重建的情况下）和可靠性，更容易处理这些情况。此外，基于人类-机器共识的透明决策过程将提高可解释性和信任度。预计会出现大量模拟测试的替代方案，这是当前验证的概念核心。

强调一下知识整合的优势。一种方法扩展智体的奖励函数，以社会规范的形式整合规则，例如，以最小距离通过目标。违反这些规则，将导致奖惩。结果发现有这种限制的智体表现出与人类更相似的行为。因此，当将知识整合到机器学习流水线时，不仅对于专家而且对于普通人，模型变得更具解释性和可信，因为这些约束发生在日常生活中。

此外，对智体知识的扩展减少了学习努力，从而加速了训练，并在大多数情况下能够超越原基准算法。尽管有这些有希望的好处，但集成知识通常会缩小各种可能解决方案的范围，同时耗费人力进行手工劳动。这收缩了机器学习最初的、整体的方法。因此，需要仔细选择知识整合和自学习之间的权衡。

符号（symbolic）和亚符号（sub-symbolic）方法代表人工智能的两端。然而，在数据驱动的亚符号/统计世界中，符号空间中用于集成或扩充的知识表示仍然存在一个核心挑战。