SoK论自动驾驶中的语义AI安全阅读笔记

SoK: On the Semantic AI Security in Autonomous Driving

SoK:论自动驾驶中的语义AI安全

摘要：

今天的人工智能算法通常容易受到对抗性攻击。为了使这些AI组件级漏洞在系统级具有语义影响，需要解决一下两个方面的重要语义：（1）从系统级攻击输入空间到AI组件级攻击输入空间。（2）从AI组件级攻击影响到系统级攻击影响。

以上研究空间定义为语义人工智能安全，而不是通用人工智能安全。

本文对这种不断增长的语义自动驾驶AI安全研究领域的知识进行了首次系统化。

调研53篇文章。并根据攻击/防御目标AI组件、攻击/防御目标、攻击向量、攻击知识、防御可部署性、防御鲁棒性和评估方法等安全领域关键的研究方面对其进行了系统分类。

总结了6个最重要的科学差距，这是基于对现有自动驾驶 AI安全工作的纵向定量比较，

为了解决最关键的科学方法层面的差距，我们为语义AD AI安全研究社区开发了一个开源，统一和可扩展的系统驱动评估平台，名为PASS。我们还使用我们实现的平台原型来展示这种使用代表性语义自动驾驶 AI攻击的平台的功能和优势。

介绍

为了在复杂、动态的驾驶环境中实现自动驾驶，自动驾驶系统设计了一系列人工智能组件来处理感知、定位、预测和规划等核心决策过程，这些组件本质上构成了自动驾驶车辆的“大脑”。这使得这些人工智能组件的安全性非常关键，因为它们的错误会造成各种道路危险甚至致命的后果。

今天的人工智能算法，特别是深度学习，通常容易受到对抗性攻击。然而，由于这些AI算法只是整个自动驾驶系统的组成部分，因此人们普遍认为，这种通用AI组件级漏洞并不一定会导致系统级漏洞。

******这主要是由于存在较大的语义差距:

(1)从系统级攻击输入空间(如添加贴纸、激光射击)到AI组件级攻击输入空间(如，图像像素变化)，或者叫做系统到AI的语义差距，这需要克服基本的设计挑战，才能将AI输入空间的成功攻击映射回问题空间，通常称为逆特征映射问题。

（2）从AI组件级攻击影响(如【车载摄像机的】错误检测道路物体)到系统级攻击影响(车辆碰撞)，或者AI与系统之间的语义差距，这也是非常重要的，例如，当误检测的物体距离较远时进行自动紧急制动，或者被误检测的物体可以被后续的AI模块容忍，如物体跟踪。

为了使AI安全工作在系统级别具有语义意义，它必须显式或隐式地解决这两个一般的语义差距

我们将这种研究空间称为语义AI安全**(而不是通常的AI安全)

到目前为止，还没有对这一新兴研究领域进行全面的系统化。有一些与人工智能安全相关的调查，但它们要么没有关注人工智能组件(例如传感器/硬件、车载网络)，要么触及人工智能组件，但没有关注解决上述语义人工智能安全挑战的工作。

因此，本文对日益增长的语义自动驾驶AI安全研究空间进行了第一次知识系统化(SoK)。并在系统化的基础上，我们总结了6个最重要的科学差距。

在所有这些科学差距中，普遍缺乏系统级评估的差距，因为由于人工智能到系统的语义差距，它可能导致系统级毫无意义的攻击/防御进展。因此需要有一个社区级别的成就来共同构建一个公共系统级别的评估基础设施——本文中，我们通过为语义自动驾驶 AI安全研究社区开发一个统一且可扩展的系统驱动评估平台，名为PASS(自动驾驶安全和安全平台)，主动解决这一关键的科学方法层面的差距。

本文的PASS系统已经实现了一个原型，并使用它来展示一个示例使用，执行最流行的自动驾驶 AI攻击类别的系统级评估，基于摄像头的停止标志检测，使用45种不同的系统级场景设置组合(即速度，天气和照明)。我们发现AI组件级和AD系统级的结果有很大的不同，并且在常见的驾驶场景中经常相互矛盾，这进一步证明了这种系统级评估基础设施构建工作的必要性和好处。

背景与系统化范围

A.自动驾驶系统与AI组件入门

1）自动驾驶级别及部署状态：

美国汽车工程师学会(SAE)定义了6个自动驾驶级别——0级(L0)至5级(L5)，级别越高，驾驶的自动化程度越高。

其中L0表示没有自动化，但是车辆可能会给用户提供警告功能，如前方碰撞警告和车道偏离警告。

在L1级车辆中，自动驾驶系统负责转向或者是油门/制动。如自动车道定心和自适应巡航控制。

L2意味着部分自动化，自动驾驶系统既可以控制转向又可以进行油门/制动。虽然L1和L2可以部分驾驶车辆，但驾驶员必须主动监控并准备在任何情况下接管车辆。

当自动驾驶级别超过L3时，当自动驾驶系统在操作设计领域(ODDs)中运行时，驾驶员不需要主动监控。然而，在L3中，当AD系统请求驾驶员接管时，这就需要驾驶员进行车辆接管。

L4级和L5级车辆都不需要驾驶座。区别在于L4自动驾驶系统只能在有限的操作设计领域（ODDs）下运行，而L5可以处理所有可能的驾驶场景。

2）自动驾驶系统中的AI组件

AD系统通常包含多个AI组件，主要包括感知、定位、预测和规划，

如上图所示。

感知：是指感知周围环境，提取用于驾驶的语义信息，如道路物体(如行人、车辆、障碍物)检测、物体跟踪、分割、车道/红绿灯检测等。感知模块通常以多种传感器数据作为输入，包括摄像头、LiDAR、RADAR等。

定位：是指在环境中找到自动驾驶车辆相对于参照系的位置。

预测：目的是估计周围物体的未来状态(位置、方向、速度、加速度等)。

规划：目的是做出安全、正确（如能够遵守交通规则）的道路级别驾驶决策（如巡航、停车、变道等）。

除了这种模块化设计，人们还探索了自动驾驶端到端DNN模型。目前，由于模块化设计更容易调试、解释和硬编码安全规则/措施，因此在工业级AD系统中主要采用模块化设计，而端到端设计仅用于演示目的。

端到端DNN模型设计?

自动驾驶端到端DNN模型是一种基于深度神经网络的自动驾驶系统设计方法。该方法将整个自动驾驶系统作为一个整体进行设计，直接从传感器输入开始，通过深度学习等技术对感知和决策进行畜栏里，最终输出车辆控制信号

B.AI的对抗性攻击和防御

AI模型通常容易受到对抗性攻击，一些研究进一步探讨了物理世界中的这种攻击。因此，最近提出了一些防御措施来防御此类攻击。由于高度依赖AI组件，这种AI攻击/防御与自动驾驶系统直接相关。然而，由于一般的系统到AI和AI到系统的语义差距，通用AI组件级漏洞不一定会导致系统级漏洞。因此，在本文中，我们将重点关注在自动驾驶环境中解决语义AI安全的工作。

C.系统化的范围

在我们的系统化中，我们在范围内考虑旨在解决语义AI安全挑战的攻击，以及专门为解决此类攻击工作中揭示的AI组件级漏洞而设计的防御。

因此，我们考虑超出范围的工作：假设数字空间扰动而没有证明自动驾驶内容的可行性（没有解决系统到AI的语义差距）和那些只关注AI算法的工作，这些算法在当今的代表性自动驾驶系统设计中没有使用（例如一般的图像分类）。

D.相关工作

在本文之前，已经发表了一些与自动驾驶安全相关的研究，但它们都没有关注新兴的语义自动驾驶AI研究空间。

Kim等人[20]和Ren等人[21]关注的是与自动驾驶相关的传感器/硬件安全和车载网络安全，而不是自动驾驶AI组件。
Qayyum等人[23]和Deng等人[22]谈到了自动驾驶中AI组件的安全性，但没有关注解决语义AI安全挑战的工作(例如，大多数归纳的工作都是关于通用AI和传感器安全的，而没有研究对自动驾驶AI行为的影响)。
Deng等[22]认为语义自动驾驶AI安全是未来的一个方向。这主要是因为两者都关注2019年及之前发表的作品。然而，语义自动驾驶AI安全工作的大多数文章(85%)都是在2019年之后发表的。这导致本文对这一新兴研究领域的现状、趋势和科学差距进行了更完整、更多样化和可量化的观察，更不用说我们还主动解决了最关键的差距之一。

在一般的CPS(网络物理系统)领域，也有与自动驾驶AI相关的技术安全的SoKs，例如共享类似控制器设计的无人机[24]，自动语音识别和说话人识别(ASR/SI)[52]，也是支持AI的CPS，以及为自动驾驶AI提供主要输入的传感器技术[53]。相比之下，无人机和ASR/SI安全的SoKs侧重于特定领域的攻击向量(例如，地面控制站信道和语音信号)，因此由于CPS领域的差异，导致了截然不同的系统化知识集。关于传感器安全的SoK是对我们的补充，因为它不直接考虑AI组件的安全性，但传感器攻击是自动驾驶AI的主要攻击向量。

知识系统化

A.（攻击/防御）目标AI组件

作者通过对文章进行调研，通过现有的大部分作品是针对感知的，而定位、底盘和端到端驾驶的研究相对较少。在感知作品中，最受欢迎的两个是摄像头感知和激光雷达感知。目前现有的工作都没有研究下游AI组件，如预测和规划。

B.语义自动驾驶AI攻击的系统化

本文根据对安全领域至关重要的三个研究方面对它们进行分类：攻击目标、攻击向量和攻击者的知识

1）攻击目标

我们根据一般安全属性(如完整性、机密性和可用性)对现有工作中的攻击目标进行分类。

AI组件的完整性。

自动驾驶环境下的完整性可以看作是AI组件输出的完整性(即是否被攻击者改变)，它可以直接影响AI驾驶行为的正确性。

从这个角度来看，其违规行为表现为现有工作中考虑的以下特定攻击目标

1.安全隐患：安全是自动驾驶汽车设计的重中之重，不仅是自动驾驶汽车及其乘客的安全，也是其他道路使用者(如其他车辆、行人)的安全。许多现有的攻击都是针对安全隐患的。例如，如果前方车辆未被检测到，对目标检测和分割的攻击可能会造成安全隐患；如果前方**车辆轨迹被错误追踪，对目标跟踪的攻击可能会导致碰撞；车道检测、定位和端到端驾驶模型攻击**会导致车道偏离，从而导致潜在的碰撞。

**2.违反交通规则。**由于自动驾驶系统在设计上需要遵守交通规则，违反规则可能会导致个人的经济处罚和自动驾驶公司的声誉损失。

现有攻击的目的是**隐藏“STOP”标志，导致违反“STOP”标志。红绿灯检测攻击可以使自动驾驶系统将红灯识别为绿灯，从而可能导致红灯违规。此外，对车道检测、定位和端到端驾驶模型的攻击**也会导致车辆横向偏离，从而侵犯车道线边界。

**3.移动性退化。**自动驾驶技术可以带来的一个关键好处是改善了对移动即服务(MaaS)的访问。一些工作旨在通过操纵AI组件输出来降低自动驾驶车辆的移动性。在这些作品中，他们要么欺骗物体检测识别静态阻塞障碍物，要么欺骗交通信号灯检测识别永久性红灯，这可能导致AD车辆长时间滞留在道路上。这不仅延误了AD车辆到达目的地的行程，而且可能会阻塞交通，造成拥堵。

隐私保密性

机密性与自动驾驶车辆提供或收集的敏感信息有关。这不仅包括车辆识别信息(例如，底盘的VIN)，还包括隐私敏感的位置数据，因为它可以泄露乘客的隐私。

AI组件的可用性。

一般网络安全领域的可用性是指用户在需要时可以访问所查看的系统、服务和信息。

对于一个自动驾驶AI组件，其“用户”可以被认为是所有下游自动驾驶组件和车辆子系统，它们依赖于其及时可靠的输出来正常工作。因此，自动驾驶AI组件的可用性可以定义为其提供及时可靠输出的能力。

根据这一定义，对自动驾驶AI可用性的攻击可以是导致给定AI组件输出功能延迟或失败的攻击。

例如，通过中断其输入/输出消息传递通道，导致软件崩溃/挂起，或者通过导致车辆系统退回到人类操作员（这样停止整个制动加上AI堆栈的输出功能）。

现状和趋势：

绝大多数(96.3%)的现有作品关注的是完整性，而只有3.7%的作品关注保密性，到目前为止，还没有一件作品关注可用性。

2）攻击向量

针对AD系统的现有攻击利用了各种各样的攻击向量，我们大致将其分为两类:物理层和网络层。

物理层攻击向量是指那些通过物理手段篡改AI组件的传感器输入。我们进一步将物理层攻击向量分解为物理世界攻击和传感器攻击向量，其中前者修改物理世界的驾驶环境，后者利用独特的传感器属性注入错误的测量。

网络层攻击向量是指需要访问自动驾驶系统内部、其计算平台甚至系统开发环境的攻击向量。

物理世界的攻击向量：

1.物体条纹：指改变二维或三维物体的表面纹理(如颜色)。它经常被用于嵌入恶意感知输入的对抗性攻击。在攻击部署中，这通常被制作成补丁，海报和迷彩，或通过投影仪和数字广告牌显示。现有的攻击已经将该攻击向量应用于各种对象，如停止标志，路面，车辆，衣服，物理广告牌。为了伪装成良性的外观，一些攻击也会约束纹理扰动以提高攻击的隐身性。

2.物体形状：指干扰三维物体的形状，如车辆、交通锥、岩石或形状不规则的道路物体。其中一些通过3D打印在物理世界中进行了演示。

3.物体位置：指将物理物体放置在环境中的特定位置。例如，通过控制无人机在空中的特定位置持有一个板来欺骗激光雷达物体探测器错误地检测前方车辆，从而应用这种攻击向量。

传感器攻击向量:

1.激光雷达欺骗：指通过激光射击，在激光雷达点云中注入额外的点。先前的工作精心制作注入点位置，以欺骗激光雷达目标检测。

2.雷达欺骗：指在雷达输入中注入恶意信号，使其在特定距离和角度上分辨出虚假物体。先前的工作证明了雷达在物理世界中的欺骗能力，并表明它可以导致自动驾驶系统识别虚假障碍物。

3.GPS欺骗：指向GPS接收器发送虚假卫星信号，使其解析攻击者指定的位置。先前的研究利用GPS欺骗攻击多传感器融合（MSF）定位、激光雷达目标检测和交通灯检测。

4.激光/红外光：指直接向传感器注入/投射激光或光，而不是环境。先前的研究使用这种攻击向量在相机图像中投射恶意光点，从而误导相机定位或物体检测。此外，之前的一些作品也利用它来制造镜头眩光和滚动快门效果等相机效果，以欺骗物体检测。

5.声学信号：已被证明可以干扰或控制惯性测量单元(IMUs)的输出。先前的工作使用该攻击向量来攻击内置IMUs的相机稳定系统，以操纵相机目标检测结果。

6.半透明贴片：指在相机镜头上粘贴带有彩色斑点的半透明薄膜。它可能导致误检道路物体，如车辆和STOP标志。

网络层攻击向量:

1.ML后门：是一种攻击，它篡改训练数据或训练算法，使模型在存在特定触发器时产生所需的输出。先前的工作利用这一点，通过在路边广告牌上展示触发器来攻击端到端驾驶模型。

2.恶意软件和软件入侵：先前工作中假定的通用网络层攻击向量，用于窃听或修改传感器数据，或与AI组件一起执行恶意程序。特别是，特定领域的实例是机器人操作系统(ROS)节点妥协，它可以修改基于ROS的自动驾驶系统中的组件间消息，例如Apollo v3.0及更早版本和Autoware。

现状和趋势：

现有作品主要采用物理层攻击向量，使用物理世界和传感器攻击向量的比例分别为63.0%和27.8%。在物理世界的攻击中，物体纹理是最受欢迎的(占所有攻击的一半)。这很可能是因为这种攻击向量是对一般对抗性攻击中数字空间扰动的直接物理世界适应。相比之下，只有6篇(11.1%)攻击利用了网络层攻击向量。

3）攻击者的知识：

白盒

此设置假设攻击者完全了解自动驾驶系统，包括目标AI组件的设计和实现，相应的传感器参数等。在现有的攻击中，这种白盒设置是最常用的。

灰盒

此设置假设白盒攻击所需的部分信息不可用。之前，灰盒攻击都假设缺乏AI模型内部的知识，比如权重。然而，一些工作仍然需要模型输出中的置信度分数，一些工作需要详细的传感器参数。

黑盒

这是限制最大的设置，攻击者不能访问自动驾驶车辆的任何内部组件。之前，属于这一类的作品要么是基于迁移的攻击，它基于局部白盒模型生成攻击输入，要么是在攻击生成中不需要任何模型级知识的攻击。

现状和趋势

现有作品在攻击设计中普遍采用白盒设置(66.7%)。然而，近年来，我们开始看到越来越多的研究致力于更具挑战性但也更实用的攻击设置，即灰盒(24.1%)和黑盒(9.3%)，主要是在最近两年发表的文章。这极大地有利于该研究空间的实用性和现实性，也表明社区实践与早期相比有了显著的发展。

C.自动驾驶AI防御的系统化

我们从安全领域至关重要的四个研究方面对它们进行分类：防御方法、防御目标、防御可部署性和对自适应攻击的鲁棒性。

1）防御方法

一般来说，现有作品中的防御方法可以分为两类:

一致性检查

一致性检查是一种通用的攻击检测技术，它与理想情况下的测量源或自身的不变属性交叉检查被攻击的信息。例如，先前的工作使用来自立体摄像机的检测对象和来自预测模型的目标轨迹来交叉检查LiDAR目标检测结果。Li等[103]和Nassi等[57]建立了检测模型，以确定当前摄像机目标检测结果是否与驾驶环境一致。一些作品还利用传感器源的物理不变性，如光反射和LiDAR遮挡模式来检测AI攻击。

对抗性鲁棒性改进

一些防御措施试图提高AI组件抵御攻击的稳健性。例如，Chen等人[105]应用对抗性训练使摄像机目标检测模型更加鲁棒。Jia等[106]通过预测和消除模型输入中的潜在对抗性扰动，提高了模型的鲁棒性。Sun等[81]利用来自前视图分割模型的点向置信度分数增强点云，以提高LiDAR目标检测的鲁棒性。

现状和趋势。

现有防御具有共同的一般防御策略，其中66.7%(6/9)基于一致性检查，33.3%(3/9)基于对抗性鲁棒性改进。

2）防御目标

上述部分的防御方法可以自然地映射到两个防御目标:

检测

所有基于一致性检查的防御都是为了检测攻击企图。

缓解

提高模型的对抗鲁棒性通常可以降低攻击成功率，提高攻击者的门槛。然而，它不是用来检测攻击的，也不能从根本上消除/防止AI漏洞。

现状和趋势。

在现有的防御措施中，攻击检测和缓解是重点；到目前为止，这些工作都没有针对其他目标，比如攻击防御。

3）防御可部署性

在本节中，我们列出了在实际自动驾驶设置中，部署时非常需要的防御设计属性：

定时开销可以忽略不计

定时开销是限制实时系统（如AD系统）防御部署能力的最重要因素之一。在现有的防御措施中，有4种在设计或评估中可以忽略不计或没有时序开销[57,81,105,107]，1种在评估中未能赶上相机和LiDAR帧率[104]。对于其余的，我们无法从他们的论文中得出他们的准确性表达(例如，没有时间开销评估)。

可忽略的资源开销

实际上，由于预算问题，运行自动驾驶系统的硬件可能具有有限的计算资源(例如，有限的gpu)。在这些防御中，除了那些不需要额外的ML模型的防御外[81,89,105]，所有其他防御都会对计算资源施加额外的需求，以执行模型。这可能会阻止它们部署到已经充分利用硬件资源的车辆上。

没有模型训练

模型训练的需求带来了额外的部署负担。在需要额外ML模型的防御中，只有一个[107]使用公共预训练模型而不进行微调。

没有额外的数据集

与上述性质密切相关的是，一些防御不仅需要模型训练，而且在训练过程中还需要额外的数据集。由于在数据集准备方面的努力，这将限制可部署性。

无硬件修改

该属性意味着防御**是否需要更改自动驾驶车辆的硬件或添加新硬件(**例如，额外的传感器)。在防御措施中，Liu等[104]需要立体摄像机，而某些自动驾驶车辆可能没有立体摄像机。

现状和趋势。

几乎所有现有的防御(7/8)都至少意识到这些可部署性设计方面的一个方面，特别是关于硬件修改(7/8)和时间开销(4/8)。然而，目前缺乏对不需要模型训练、可忽略的资源开销和不需要额外数据集的认识(分别为2/ 8,2 / 8,3 /8)。

4）对自适应攻击的健壮性:

**自适应攻击旨在绕过特定的防御。**它们通常假设完全了解防御内部，包括设计和实现，并且旨在挑战防御的基本假设。

自适应攻击评估在最近的对抗性AI防御中得到了大力提倡，并且先前的工作也提出了如何正确设计自适应攻击的指导方针。然而，在自动驾驶AI防御中，我们发现只有3篇论文进行了某种形式的自适应攻击评估[57,81,104]。

具体来说，Nassi等人[57]将现有的对抗性攻击应用到他们的防御模型中，发现规避攻击检测是具有挑战性的；Liu等[104]对激光雷达和相机目标检测之间的一致性检查设计进行了同时攻击评估，发现检测仍然有效。Sun等人[81]基于防御假设(LiDAR遮挡模式)设计了自适应攻击，并表明它们无法打破这两种防御。

现状和趋势。

尽管在一般的对抗性AI防御研究中被大力提倡，但目前在现有的自动驾驶AI安全防御中，对自适应攻击进行评估的并不多(3/8)。然而，随着在一般对抗性AI领域越来越多地采用这种做法，语义自动驾驶AI安全领域的这种情况也应该有所改善。

D.评价方法的系统化

在评估方法层面，除了由于问题表述(例如，攻击目标和目标)而产生的预期差异之外，我们注意到在评估级别的选择中存在有趣的普遍差异，这对于语义AI安全而言相对独特，而不是通用AI安全。

具体来说，由于这里的攻击目标是AI组件，但最终目标是实现系统级攻击效果(例如，崩溃)，因此评估方法可以在AI组件和自动驾驶系统级别设计：

组件级评估：

仅在目标AI组件级别(例如，物体检测)评估攻击/防御影响，而不涉及(1)全栈自动驾驶系统中的其他必要组件(例如，物体跟踪，预测，规划)；(2)闭环控制。因此，评估指标是特定于组件的，例如，检测率、位置偏差、转向误差等。

系统级评估

是指考虑全栈自动驾驶系统管道和闭环控制，在车辆驾驶行为层面对攻击/防御影响进行评估。

用于实现这一目标的评估设置通常可以分为两类：(1)基于真实车辆，其中真实车辆处于自动驾驶系统的部分(例如，仅转向)或完全(例如，转向，油门和制动)闭环控制下，以便在存在攻击的情况下执行某些驾驶机动，这些攻击通常也部署在物理世界中;(2)基于仿真，即使用现有仿真软件或定制建模，对闭环控制中的关键元素(例如传感/驱动硬件和物理世界)进行全部或部分仿真。

现状和趋势

大多数(90.5%)的被调查作品进行了组件级评估，可能是由于实验工作容易(不需要设置真车或模拟)，而只有25.4%(16/63)采用了某些形式的系统级评估。

科学差距和未来方向

在对现有自动驾驶人工智能安全工作进行系统化的基础上，我们总结了我们观察到的科学差距列表，并讨论了可能的解决方向。为了避免主观意见和偏见，这些观察结果是通过纵向定量比较现有自动驾驶AI安全工作中的选择，以及第三章中的不同设计角度，或横向比较CPS(网络物理系统)领域的安全工作，如无人机和基于最近SoKs的自动语音识别（ASR）和说话人识别(SI)得出的。

A.评估：普遍缺乏系统级评估

科学差距1：

人们普遍认为，在自动驾驶系统中，AI组件级错误不一定会导致系统级效应(例如，车辆碰撞)。然而，现有工作普遍缺乏系统层面的评价。

目前自动驾驶AI安全工作执行系统级评估并不是一种常见的做法：总体而言，只有25.4%的现有工作执行该评估，而对于研究最广泛的AI组件——相机物体检测，这一数字尤其低(7.4%)。事实上，这些工作中的绝大多数(74.6%)只进行了组件级评估，而没有做出任何努力来实验性地了解其攻击/防御设计的系统级影响。显然，对于CPS系统，由于涉及到物理组件，这样的系统级评估通常更加困难。然而，我们发现，对于无人机和ASR/SI等相关CPS领域的现有安全研究，实际上几乎所有攻击工作都执行系统级评估(基于SoKs的无人机100%，ASR/SI 94%)。这说明，在CPS安全研究中，这种常见的评估实践，目前的自动驾驶AI安全研究界尤其滞后。

在CPS验证领域，人们实际上已经广泛认识到，对于具有AI组件的CPS, AI组件级错误不一定会导致系统级影响。对于AI系统来说，由于端到端系统级的高复杂性和闭环控制动力学，这一点尤其正确，这可以显式或隐式地为人工智能组件级错误创建容错效果。事实上，在自动驾驶系统环境中已经发现了各种反例，例如，当自动紧急制动系统的目标检测模型误差在很远的距离时，或者这种错误可以被下游AI模块(如目标跟踪)有效容忍。这意味着，即使在AI组件层面显示出很高的攻击成功率，这种攻击实际上也可能不会对自动驾驶车辆的驾驶行为造成任何有意义的影响。例如，Jia等人[17]具体估计，对于仅相机目标检测的AI攻击，高达98%的组件级成功率仍然不足以影响目标跟踪结果。因此，我们认为，对于语义AD人工智能安全研究，目前普遍缺乏系统级评估是一个关键的科学方法层面的差距，应该尽快解决。

未来的发展方向

具体到自动驾驶问题领域，要在研究社区层面有效地填补这一空白，存在各种技术挑战。

在可能的选项中，大多数学术研究小组通常负担不起真正的基于车辆的系统级评估(例如，每辆车25万美元[110])，更不用说需要易于访问的测试设施，设置测试环境需要大量时间和工程努力，以及高安全风险(特别是因为大多数自动驾驶AI攻击旨在造成安全损害)。基于仿真的评估更经济、更容易获得、更安全，但研究人员仍然需要花费大量的工程努力来检测现有的自动驾驶仿真设置，以满足特定于安全的研究需求，例如，修改模拟的物理环境渲染或感知通道以发动攻击。这也许可以解释为什么系统级评估在今天的人工智能安全研究中不被普遍采用。

为了解决这种僵局，如果能够在社区层面共同努力建立一个共同的系统级评估基础设施，这是非常理想的，因为

(1)用于安全研究评估的真实自动驾驶车辆或自动驾驶模拟所花费的工程努力具有共同的设计/实现模式;

(2)在自动驾驶环境下，系统级攻击效果会受到驾驶场景设置的高度影响(例如，高速公路和局部道路的制动距离差异较大)，因此只有在使用相同的评估场景和度量计算时，系统级评估结果才具有可比性。

B.研究目标:普遍缺乏防御解决方案

科学差距2：

与自动驾驶AI安全攻击相比，目前有效的防御方案，尤其是攻击防御方面的解决方案严重缺乏。

在现有语义自动驾驶AI安全工作中，发现攻击的比例(85.7%)远远高于有效防御方案(14.3%)。此外，所有现有的防御都侧重于攻击检测和缓解，而没有研究防御，这是一种更理想的防御形式。相比之下，这些比例在无人机安全领域更为平衡，其中51%用于攻击，49%用于防御。此外，在防御措施中，33%是为了预防。攻击发现是对新兴领域进行安全研究必不可少的第一步，而后续有效的防御解决方案，尤其是攻击防范解决方案，才能实现攻击发现的闭环，真正造福社会。

未来的发展方向

许多被发现攻击的自动驾驶AI组件实际上还没有任何有效的防御解决方案(如lane detection, MSF perception)，这些都是具体的防御研究方向。请注意，确实存在直接适用的通用AI防御(例如，输入转换[39])，但已经发现，这种通用防御通常对CPS领域的AI攻击无效，例如，对于AD[38,78]和ASR/SI[112]。

除了考虑目前未防御的AI组件外，还有一些尚未探索的可能适用的防御策略，例如经过认证的鲁棒性[40]。虽然尚未探索，但这种防御实际上在自动驾驶AI安全领域是非常需要的，因为它可以在这样一个安全关键应用领域为AI安全提供强有力的理论保证。

面临的挑战是，当今的认证鲁棒性设计只关注小的2D数字空间扰动，因此它们对今天流行的自动驾驶AI攻击向量(例如，物理世界或传感器攻击)的扩展仍然是开放的研究问题。这至少需要解决系统到人工智能的语义差距，更不用说潜在的可部署性挑战，因为这些方法通常有很高的开销，因此可能很难满足自动驾驶环境中的强实时性的需求。

C.攻击向量:网络层攻击向量探索不足

科学差距3：

现有的工作主要集中在物理层的攻击向量上，这使得网络层的攻击向量基本上没有得到充分的探索。

只有11.1%(6/54)的自动驾驶AI攻击工作是在其攻击设计中利用了网络层攻击向量，分别假设ML后门、恶意软件、远程利用和受损的ROS节点。在这四个中，只有最后一个是相对特定于自动驾驶领域。在无人机和ASR/SI等相关CPS领域，这一比例要高得多(>50%)：无人机攻击作品为53.8% ，ASR/SI作品为52.9%。我们的一个观察结果是，在相关的CPS领域中，许多这些工作都利用了特定领域的网络通道，如无人机中的地面站通信通道和第一人称视角(FPV)通道、音频文件和ASR/SI系统中的电话网络。但是，目前在自动驾驶AI安全方面还没有研究这方面的工作，这可能是填补这一研究空白的一个方向。

未来的发展方向

自动驾驶AI堆栈的总体设计目标确实主要是实现仅使用车载传感的自主性；但是，这并不意味着没有可能严重影响端到端驱动的网络通道。例如，以下两个特定领域，在现实世界的自动驾驶车辆中广泛采用，并且高度的安全性：

（1）高清(High Definition)地图更新通道。

对于L4级车辆来说，高清地图的准确性对驾驶安全至关重要，因为它是定位、预测、路线和规划等几乎所有AD模块的基础支柱。现实世界的动态因素（如道路建设）使得高清地图必须经常更新，这通常是通过无线方式进行的。例如，当Waymo自动驾驶车辆检测到道路施工时，它会更新高清地图，并实时与运营中心和车队其他成员共享更新的地图。

（2）远程自动驾驶操作员控制通道

另一个与高级自动驾驶相关的通道是远程操作员的控制通道。与低级别自动驾驶汽车不同，L4及以上级别的自动驾驶汽车没有安全驾驶员。然而，在自动驾驶车辆达到故障安全状态后，远程操作员通常会接管控制权(例如，发生在道路上的Waymo车辆)，如果被劫持，则直接对安全至关重要。

D.攻击目标:下游AI组件未开发

科学差距4：

关注下游AI组件(例如，预测，计划)的工作非常缺乏，与上游组件相比，它们同样重要。

在绝大多数(50/54)针对更实用的模块化自动驾驶系统设计的攻击作品中，迄今为止没有一个针对下游AI组件，如预测和规划；他们主要集中在上游，如感知和定位。这是可以理解的，因为在最受欢迎的物理层攻击模型下，上游的攻击可以更直接地受到攻击输入的影响(例如，通过物理世界或传感器攻击)。如果要影响下游的输入（如预测），必须首先操纵上游组件输出(例如，对象检测)。

然而，这些下游因素实际上与上游因素同等重要。例如，障碍物轨迹预测或路径规划中的错误，这些实际上会更直接地影响驾驶决策，从而导致系统级效应。因此，填补这一空白是未来自动驾驶人工智能安全研究的迫切需要。

未来的发展方向

要研究下游AI组件安全性，一个普遍的挑战是如何在与上游组件漏洞充分隔离的情况下，研究其组件特定的安全属性，以便我们可以找出原因并获得针对目标下游组件的更多安全设计见解。这里我们讨论几个可能的解决方向:

（1）通过道路对象操作进行物理层攻击

自动驾驶系统中的预测组件根据检测到的物理属性(如障碍物类型、尺寸、位置、方向、速度)预测障碍物轨迹。因此，假设自动驾驶感知等上游组件正常工作，攻击者可以直接控制物理世界中的道路对象(例如道路上的攻击车辆)，从而在不依赖于上游组件漏洞的情况下控制预测的输入。但是，这就要求攻击设计保证预测漏洞的触发器在语义上是可实现的，例如攻击者控制的障碍物需要具有一致的类型、历史轨迹不中断、以合理的速度移动等。

（2）通过定位操作进行物理层攻击。

规划组件将预测和定位输出作为输入，计算出近期的最优行驶路径。因此，定位的变化直接影响规划中的决策。为了攻击规划，可以利用与定位相关的攻击向量(例如，GPS欺骗)来控制规划输入。然而，这只适用于完全依赖此类输入(例如GPS)进行定位的自动驾驶系统；如果使用基于多传感器融合（MSF）的定位，仍然很难从MSF算法漏洞中分离出特定于计划的漏洞。

（3）网络层攻击

也许操纵下游组件输入的最直接方法是通过网络层攻击。例如，受损的机器人操作系统（ROS）节点可以直接向自动驾驶系统发送恶意消息。与道路对象操作方法不同，这并不要求输入在语义上是可实现的。因此，这形成了探索更多网络层攻击的另一个动机。

E.攻击目标:除了完整性之外的目标

科学差距5：

现有的攻击主要集中在违反安全/交通规则或移动性退化(可视为自动驾驶领域中的完整性)，而其他重要的安全属性（如机密性/隐私性、可用性和真实性），则未得到充分研究。

几乎所有(96.3%)现有的攻击都针对自动驾驶特有的完整性表现（即使驾驶状况变异常）。然而，对保密性和可用性等其他重要安全属性的研究却非常缺乏：只有2篇(3.7%)涉及保密性，没有一篇研究可用性。相比之下，无人机安全方面的攻击目标更为平衡:57.9%(11/19)针对完整性/安全性，31.6%(6/19)针对隐私/机密性，88.9%(8/19)针对可用性。尽管在自动驾驶环境中，由于车辆笨重且移动迅速，完整性非常重要，但从一般安全领域的角度来看，这些其他属性也同样重要。

未来的发展方向

为了促进对这些较少探索的安全属性的未来研究，我们在这里讨论了一些可能的新研究角度。对于机密性/隐私性，现有的工作只考虑自动驾驶系统内部信息泄漏(例如，位置)，但也可以考虑从自动驾驶系统外部信息(例如传感器输入)中提取潜在的私人信息。在无人机安全领域，一个主要的隐私攻击场景是沿着这个方向，例如，使用无人机摄像头进行人员间谍活动。对于可用性，由于它与AI组件之间的通信渠道密切相关，对网络层攻击进行更广泛的探索可能会使这种攻击变得可行。到目前为止，还没有任何作品考虑到自动驾驶背景下的真实性，但在自动驾驶部署和商业化的今天，真实性可以表现为安全驾驶员的身份认证，无人驾驶出租车的乘客与自动驾驶车辆的相互认证，以及消费者与自动驾驶货物交付车辆的相互认证，这些都在自动驾驶AI堆栈的更广泛范围内。

F.社区:严重缺乏开源

科学差距6：

与相关社区/领域(如CV、ML/AI、ASR/SI)相比，安全社区的自动驾驶AI安全工作的开源状态非常缺乏，这损害了安全社区中这一新兴领域的可重复性和可比性。

对于表1和表2中的每一项工作，我们在论文和互联网上搜索了它们的代码或开放实现。总的来说，只有不到20.6%(7/34)的安全会议论文发布了源代码。如果我们把范围缩小到传感器攻击作品，情况就更糟了，12个作品中只有1个(8.3%)发布了攻击代码。相比之下，在CV和ML/AI会议上发表的论文有超过50%的开源百分比。

有趣的是，同样在CPS领域，安全会议上50%的ASR/SI论文发布了他们的代码，这与CV和ML/AI会议大致相同。这表明，**并不是安全研究人员不愿意共享代码，而更可能与安全会议上自动驾驶AI安全论文的多样性有关。**事实上，安全会议论文采用的攻击向量集合比其他任何会议都要多样化得多，如表1所示。例如，在使用传感器攻击向量的15篇论文中，只有2篇来自CV会议，1篇来自ML/AI会议。对于这些论文来说，共享代码或实现确实更加困难，因为通常涉及硬件设计。相比之下，ASR/SI中的攻击向量要均匀得多;他们主要利用恶意声波，这是方便修改，并可以进行数字化评估。

未来的发展方向

毫无疑问，我们应该鼓励安全社区做出更多的开源努力，这样未来的工作才能从中受益。然而，挑战在于应该以何种形式共享硬件实现，以使这种共享能够更直接地对社区有用。在这里，我们根据我们对先前工作的观察讨论两个可能的解决方案方向:

（1）开源硬件实现参考

由于硬件实现的复制成本和工作量通常高于纯软件实现，因此研究人员实际上更希望尽可能多地发布有关其硬件设计的细节。这通常意味着电路图、印刷电路板布局、材料清单和详细的实验程序。其中一个例子是Shin等人的激光雷达欺骗工作，他们在网站上清楚地列出了这些细节，因此其他团体能够复制和构建他们的设计。

（2）开源攻击建模代码

在最近的传感器攻击工作中，另一个有趣的趋势是，他们经常在数字空间中模拟攻击能力，以进行大规模评估。例如，Man等[58]模拟了攻击者光束在数字图像中造成的相机镜头眩光效应；Ji等[65]模拟了对抗性声信号对相机稳定系统造成的图像模糊效应；Cao等[19]将激光雷达欺骗能力建模为可以注入点云的点的数量；Shen等[92]将GPS欺骗建模为攻击者可以控制的任意GPS位置。由于这些模型要么在物理世界的实验中得到验证，要么得到文献的支持，因此共享这些代码将大大简化未来工作中的复制。

我们在中发起的社区级评估基础设施开发工作也可以通过鼓励开源实践来帮助填补这一空白。

PASS：统一的、可扩展的系统驱动的自动驾驶AI安全评估平台

在所有已确定的科学差距中，普遍缺乏系统级评估的差距尤其重要，因为正确的评估方法对有效的科学进步至关重要。在本节中，我们将通过开发开源、统一、可扩展的系统驱动评估平台PASS(自动驾驶安全与保障平台)，主动解决这一关键的科学方法层面的差距。

A.设计目标和选择

为了有效地填补研究社区层面的这一空白，非常需要一个通用的系统级评估基础设施。为了促进这一点，我们主动构建了一个系统驱动的评估平台，该平台基于我们的SoK，统一了自动驾驶AI安全评估所需的通用系统级仪器，并将定制的攻击/防御实现和实验需求抽象为平台API。因此，该平台直接提供了上述评估基础设施，它允许语义自动驾驶AI安全工作直接插入其攻击/防御设计以获得系统级评估结果。

这样(1)无需花费时间和精力构建较低级别的评估基础设施;(2)在相同的评估环境中产生结果，从而直接与之前的工作进行比较。需要注意的是，尽管现有的一些研究为基于AI的自动驾驶开发了基于仿真的系统级测试方法，但它们的设计是为了安全性而不是安全性(没有威胁模型)，因此无法轻易支持对不同的自动驾驶AI攻击/防御方法的评估。

该平台将完全开源，以便研究人员可以共同开发新的api，以适应未来的攻击/防御评估需求，并贡献攻击和防御实现，以形成语义自动驾驶AI安全基准，这可以提高可比性，可重复性，并鼓励开源。我们还计划为没有运行该平台所需硬件资源的研究小组提供远程评估服务，这些服务将由项目组维护。

以仿真为中心的混合设计。

为了构建这样一个社区级别的评估基础设施，一个基本的设计挑战是在基于真实车辆和基于模拟的评估方法之间进行权衡，如表III所示。真实的基于车辆的评估更可靠，因为它将车辆、传感器和物理环境都置于评估循环中，但模拟在所有其他重要的研究评估方面都更好，包括成本、无安全问题、场景定制的高度灵活性、攻击部署的便利性、更快的评估迭代和高再现性。考虑到它们的优缺点，我们选择了以仿真为中心的混合设计，其中我们主要针对基于仿真的评估基础设施进行设计，并且只使用真实车辆来提高仿真保真度(例如数字孪生和传感器模型校准以及易于设置物理场景和维护安全的特殊情况。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KMrQnLgx-1689584903146)(img\02.png)]

我们选择以仿真为中心的设计，因为我们发现基于仿真的方法的保真度缺点是可以容忍的，因为

(1)我们的结果表明，对于当今具有代表性的自动驾驶AI攻击，攻击结果和特征在当今的工业级模拟器和物理世界中高度相关，这表明至少对于此类自动驾驶AI安全评估目的具有足够的保真度;

(2)仿真保真度技术仍在不断发展，因为这也是整个自动驾驶行业的需求，例如，最近在工业界和学术界都有各种新的进展;

(3)毕竟仿真环境可以看作是一个不同的环境域，实际的攻击/防御应该能够适应这样的域。从社区的角度来看，这样的设计也更有益，因为它使更多的研究小组能够负担得起这样一个平台的建立。

B.PASS设计

我们的系统驱动评估平台PASS由两个一般设计原理指导:(1)统一，旨在统一攻击/防御实施，场景设置和评估度量级别的共同系统级评估需求。(2)可扩展，旨在使平台能够方便地支持新的未来攻击/防御，自动驾驶系统设计和评估设置。

具体而言，对于特定驾驶任务的攻击/防御，我们的平台定义了驾驶场景和指标列表，有助于统一实验设置和有效性测量。为了实现未来研究的可扩展性，该平台提供了一组接口，以简化新攻击/防御的部署。基于我们的SoK，我们设计了攻击/防御接口，以支持常见类别的攻击向量和防御策略。此外，该平台还提供了模块化的自动驾驶系统管道，其中包含可插拔的AI组件，使平台易于扩展到不同的自动驾驶系统设计。

图3为PASS设计，主要包括6个模块:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-INJ7Dozt-1689584903146)(img\03.png)]

1）AD模型

自动驾驶模型承载端到端自动驾驶系统，测试目标AI组件。具体来说，该平台提供了两种自动驾驶模式选择:模块化AD管道和全栈AD系统。模块化的AD管道是一种灵活的选择，可以使AD系统具有可替换的AI组件和不同的系统结构。为了配置模块化的AD管道，用户只需要修改一个人类可读的配置文件来指定要包含的所需AI组件。

2）Plant模型:

这是测试车辆和物理驾驶环境。我们的平台主要建立在AD仿真之上。为了配置仿真环境，我们定义了一组场景来描述AD车辆的初始位置、配备的传感器、测试道路和道路对象(例如车辆和行人)。场景描述还作为人类可读的文件提供，以便于修改。得益于通用的AD模型结构，还可以在测试设施提供的驾驶场景下，对真实的AD车辆（如图4所示，具有L4能力的车辆）进行评估。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XtdTogiY-1689584903146)(img\04.png)]

3）Bridge:

Bridge（桥接）是AD与工厂模型之间的通信通道，用于读取传感器数据和AD车辆的驱动。为了获得更好的可扩展性，它支持在运行时修改通信数据的函数挂钩。

4）攻击/防御插件:

这两个插件承载可用的攻击和防御，它们建立在平台提供的攻击/防御接口上。为了简化未来攻击/防御的部署，这些接口被设计为支持常见的攻击向量和防御策略。具体来说，基于SoK定义了3种一般类型的接口:

1.物理世界攻击接口允许在任意位置动态加载2D/3D对象到模拟环境。它涵盖了许多利用对象纹理、形状和位置的物理世界攻击。

2.传感器攻击/防御接口允许在桥接时注册自定义传感器数据操作，该操作对传感器攻击或防御行为进行建模。

3.网络层攻击/防御接口支持添加/替换AD系统中的组件，作为通用接口实现网络层攻击/防御功能。例如，机器学习后门攻击可以通过用木马替换现有的机器学习模型来实现。通过添加具有一致性检查逻辑的组件，可以实现基于一致性检查的防御。

5）度量计算:

负责收集平台中所有其他模块的度量，并计算场景相关的评估度量。基于我们的SoK攻击目标，我们包括系统级指标，如安全性(例如，碰撞率)，违反交通规则(例如，车道偏离率)，行程延迟等。为了全面性，我们还包括组件级指标(例如，逐帧攻击成功率)。

实现

我们已经为平台中的每个模块实现了几个变体。AD模型支持用于“STOP”符号攻击评估的模块化AD管道和全栈AD系统(Apollo和Autoware)。我们的Plant模型包括一个工业级AD模拟器和真实的L4级AD车辆。对于桥接，我们重新使用AD模拟器提供的api (Python api、CyberRT和ROS)。具体来说，我们修改了AD模拟器、桥接器和模块化AD管道，以实现上述3个通用攻击/防御接口。对于度量标准，我们实现了碰撞和STOP标志相关的违规检查。请注意，我们不打算涵盖所有现有的攻击/防御；我们的目标是启动一个社区级别的工作，以协作地构建一个公共系统级别的评估基础设施，这是使这样的社区级别基础设施支持可持续和最新的唯一方法。我们将完全开源该平台，并欢迎社区贡献新的攻击/防御接口和实现。

C.案例研究:停止标志攻击的系统级评估

评价方法

在本节中，我们将使用PASS对现有的STOP标志攻击执行系统级评估，以展示平台的功能和优势。我们选择STOP符号攻击是因为它们是文献中研究最多的自动驾驶AI攻击类型，而且它们都没有进行过系统级评估(。

攻击评估，我们评估了最安全的“STOP”标志的AI攻击目标：“STOP”标志隐藏，它通常利用恶意对象纹理使“STOP”标志未被检测到。我们重现了3个代表性设计:**ShapeShifter (SS)、Robust Physical Perturbations (RP2)和Seeing Isn 't Believing (SIB)。**图5 (a)和(b)显示了再现的对抗性停止标志。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JupOxMAq-1689584903146)(img\05.png)]

**AD模型配置，**我们将平台中的模块化自动驾驶管道配置为通用AD系统，包括相机目标检测，目标跟踪，融合(可选)，规划和控制。具体来说，我们根据地图和融合的可用性配置了三种不同的AD管道。

驾驶场景，我们在图5 (a)和(b)所示的十字路口选择一条带有STOP标志的直城市道路。我们在5种常见的本地道路行驶速度(10-30英里/小时，每种增加5英里/小时)、3种照明条件(日出、中午、日落)和3种天气条件(晴天、阴天、雨天)下进行评估。在评估过程中，恶意停止标志图像通过物理世界攻击接口部署在模拟器中。

**评价指标，**为了评估系统级攻击的有效性，我们为停车标志场景选择了与交通规则相关的指标：停车率，它是指成功停车的百分比，违规率是违反停车线的百分比，违规距离是违反停车线后的距离。为了进行比较，我们还计算了先前工作中使用的组件级指标：帧级攻击成功率是在不同停止标志距离范围内被误检测的帧的百分比，赵等人[26]提出了连续n帧的最佳攻击成功率，作为衡量是否积累了足够成功的更好指标。我们使用n = 50，因为由于行驶速度较低(即制动距离较短)，我们的大多数模拟场景在100帧内完成。

结果

我们的评估结果表明，在组件级别，这三种攻击都具有非常高的有效性：SS在10米内达到f成功率> 90%，fmax(50)成功率在所有场景下都接近100%；当速度为10英里/小时时，RP2和SIB都达到了fmax (50) succ = 100%。聚合攻击结果与特定距离/角度范围内的攻击结果都与原始论文中报道的组件级攻击有效性非常相似。然而，与先前针对其他自动驾驶AI组件的安全性/鲁棒性研究相似，我们发现如此高的攻击成功率远未达到系统级攻击目标：RP2和SIB在所有驾驶场景组合中都无法导致STOP标志违规；SS只能在速度非常低(10英里/小时)时成功，而在所有其他速度(15-30英里/小时)时失败，这是停车标志道路更常见的速度范围。

如此低的系统级攻击效率主要是由于模块化自动驾驶管道中的跟踪组件，该组件是根据Zhu等人[135]推荐的代表性参数设置的。尽管攻击在近距离上非常有效，但之前创建的停止标志轨迹仍然有效，因此自动驾驶系统始终意识到停止标志并不断做出停止决策。对于低速(10英里/小时)的SS，攻击可以将检测隐藏在更连续的帧中，因此最终可以删除STOP标志轨道。因此，这再次验证了人工智能与系统语义差距的非平凡性，这进一步证明了对语义自动驾驶AI安全性进行系统级评估的必要性。同时，在这里，我们能够通过实验量化指定的自动驾驶AI攻击，从而来判断其系统级攻击的有效性取决于驾驶场景的程度有多大(即驾驶速度)，这只有通过我们以仿真为中心的设计才能实现，这种设计可以更灵活地支持不同的驾驶场景、自动驾驶设计和系统级指标。

D.仿真精确度评估

模拟精确度的缺点是可以容忍的，因为

(1)模拟精确度正在发展，可以通过我们的真实车辆设置来改进，

(2)实际的攻击/防御应该能够领域适应，我们仍然希望今天的模拟精确度可以很容易地用于自动驾驶AI安全评估目的。因此，在本节中，我们以STOP符号攻击为例来具体理解这一点。

**实验设置，**我们使用SS攻击，并在我们的平台中计算物理世界中停止标志检测结果与仿真环境之间的相似度。物理世界的设置如图5 ©所示。相应地，我们使用了具有类似道路几何形状的模拟环境。

**结果：**在20条物理世界驾驶轨迹中，我们发现平均相关系数r为0.75(最低为0.62，最高为0.80)，且所有相关性均具有统计学意义(p < 0.05)。对于Pearson相关，r > 0.5被认为是强相关。这表明，至少对于这种具有代表性的自动驾驶AI攻击类型，今天的模拟精确度至少足以满足我们的自动驾驶AI安全评估目的。

结论

在本文中，我们对日益增长的语义自动驾驶AI安全研究领域的知识进行了第一次系统化。我们收集和分析了53篇这样的论文，并根据对安全领域至关重要的研究方面对它们进行了系统的分类。我们总结了基于定量纵向和横向比较的6个最重要的科学差距，并提供了不仅在设计层面，而且在研究目标，方法和社区层面的见解和潜在的未来方向。为了解决最关键的科学方法层面的差距，我们主动为社区开发了一个开源的、统一的、可扩展的系统驱动评估平台PASS。我们希望知识的系统化，科学差距的识别，见解，未来的方向，以及我们在社区层面的评估基础设施建设方面的努力可以促进对这一关键研究空间的更广泛，现实和民主化的未来研究。
界中停止标志检测结果与仿真环境之间的相似度。物理世界的设置如图5 ©所示。相应地，我们使用了具有类似道路几何形状的模拟环境。

**结果：**在20条物理世界驾驶轨迹中，我们发现平均相关系数r为0.75(最低为0.62，最高为0.80)，且所有相关性均具有统计学意义(p < 0.05)。对于Pearson相关，r > 0.5被认为是强相关。这表明，至少对于这种具有代表性的自动驾驶AI攻击类型，今天的模拟精确度至少足以满足我们的自动驾驶AI安全评估目的。

结论

在本文中，我们对日益增长的语义自动驾驶AI安全研究领域的知识进行了第一次系统化。我们收集和分析了53篇这样的论文，并根据对安全领域至关重要的研究方面对它们进行了系统的分类。我们总结了基于定量纵向和横向比较的6个最重要的科学差距，并提供了不仅在设计层面，而且在研究目标，方法和社区层面的见解和潜在的未来方向。为了解决最关键的科学方法层面的差距，我们主动为社区开发了一个开源的、统一的、可扩展的系统驱动评估平台PASS。我们希望知识的系统化，科学差距的识别，见解，未来的方向，以及我们在社区层面的评估基础设施建设方面的努力可以促进对这一关键研究空间的更广泛，现实和民主化的未来研究。