自动驾驶中车辆和车路协同的具体技术

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转自：计算机视觉联盟

从自动驾驶的的单车（single agent）智能过渡到车辆/车路协同的多智体（multi-agent）智能，也是车联网和智慧城市/交通的优势，下面列一些供阅读的有关文献。

网联自动车形成了所谓的汽车互联网（IOV），预计最早将在2021年改变世界范围内的交通运输方式，并改变城市生活，并在未来几十年中普及。

网联自动车经常被吹捧为一项在不久的将来将在社会中普及的技术。人们可以将自动驾驶汽车视为具有人工智能（AI）功能，能够自动驾驶、感知其周围环境、识别其附近的物体并执行推理和决策的功能。

它不是单独运行，而是研究了自动驾驶汽车在其社会网络物理（socio-cyber-physical）环境中进行合作和交互的必要性，包括合作将解决的问题以及议题和挑战。

它根据选定的示例回顾了当前在自动驾驶汽车方面的合作工作。其结论指出，除了感知直接环境和基础网络技术之外，作为自动驾驶汽车的社交人工智能（social-AI）功能的一种形式，还需要具有协作行动（behave cooperatively）的能力。

车辆需要通过专用短程距离联网（DSRC）或5G-V2X网络，采用IoT服务（包括通过路边单元），不仅与其他车辆而且还可能与摩托车、自行车、行人和其他道路用户进行交互。

通过这样的网络协议，车辆有机会交换应用层消息并进行合作以提高安全性，并提高其有效性，从而在车辆网络层（vehicular network layer）之上创建一个协作层（cooperation layer）。

社交车辆（Social vehicles）构想了CAV的社交大脑（social brain），CAV被定义为一个软件模块，该软件模块确定车辆如何与其他车辆协作、车辆如何与车联网络上的行人和服务协作、车辆如何推理社交行为、车辆在收到特定消息时如何表现，以及在路况下如何利用车辆间的合作。

CAV的社交大脑可以针对道路上的其他车辆和行人推断出社会状况（social situations ），记住过去的互动以为将来的合作提供信息，在道路的社交规范内工作，并具有上下文觉察（context-aware）的关注（类似于人类的社会认知）。

社交大脑不仅在推理场景觉察（situation-awareness），而且还决定了车辆的行为-车辆在社交活动中相对其他车辆如何表现，以及车辆与其他实体的互动方式（例如，要发送哪些消息）。

CAV的社交大脑可以预测或建模其他车辆和人员将要做什么，了解其他车辆和人员的意图，并表现出对各种情况都能理解的方式。

车辆的社交大脑可以针对不同的路况实施多种合作协议，例如用于交叉路口的碰撞警告协议、用于回旋路（roundabouts）的移动协议、用于交通合并的协议、用于在高速公路通行的协议、用于超车的协议和用于交叉路口的汽车让路协议等等，这些协议都集成到了车辆的社交大脑模块中。

同时，不仅需要规则政策和机器人法律来治理一般的道路交通，还需要确保CAV之间以及CAV与人之间的可信赖的和道德的互动。

车辆的“social-AI”是支持各种合作行为的主要组成部分。

车辆协同和推理的应用包括：

• Parking （泊车）and Routing（路径）;

• Swarm Behaviors （群行为）for Dynamic Traffic Flows;

• Platooning（车队）, Interps （路口）and Safety（安全）;

• Cooperative awareness（协同觉察）;

• Long Term Cooperation （长期合作）- Social Networks and Social Memory;

挑战：

• Scales （尺度规模）;

• Trusted communication and deception proofing （可信通信和欺诈确认）;

• Standards（标准）;

• How Should Vehicles Talk to Each Other and with the Infrastructure（交谈）?

• Context-Aware Decision-Making and Regulations（决策和规章）;

• Lawful interaction （合法的交互）。

Swarm-Based Dynamic Traffic Flow

传统上，道路或交通信号灯上的标记用于协调车辆，使它们有条不紊地行驶，但它们可能会导致延误或减少道路使用率。通过合作与协调，可以在没有物理信号的情况下协调交通流。车辆之间的合作也可形成灵活的集体车辆行为。例如，在高速公路上，车道在两侧均等地固定（例如，每个方向上有五个车道）-而在某些时候，一个方向的交通可能会比另一方向大。借助CAV，当一个方向的交通流量很高时，车辆可以大规模协作并通知其他车辆，允许现在一个方向有8条车道，而相反方向有2条车道。然后，在其他时间重新平衡车道。另外，某些“车道”在某些时候可能会变窄（汽车相互靠近但速度较慢），而在其他时候，车道会变宽（汽车运动较快但彼此相距较远）。这个想法被称为“交通整形（traffic shaping）”。

无人驾驶/无人驾驶是当前最新技术，有可能从根本上改变个人和货物的流动性。目前，大多数开发都针对独立自动驾驶汽车，这些汽车可以感知周围环境并基于这种感知来控制车辆，而驾驶员的干预很少或根本没有。

这里着重于自动驾驶汽车研究的下一步，即自动驾驶汽车之间的协作，主要是车辆编队控制（formation control）或车辆成排（vehicle platooning）。为了对这一领域有更深入的了解，该文对许多现有的发表论文进行了系统的综述。换句话说，其研究了许多分布式的和分散的车辆编队控制方法，并讨论了它们的实现。最后，总结了编队控制的技术和实施面临的挑战。

Formation control approaches

为了实现编队控制，与其他机器人共享信息是多机器人系统中的关键任务。因此，在车辆组排中拓扑实现以解决信息共享问题。这些拓扑负责信息交换流程，该流程描述了组排中的车辆如何相互交换信息。

Leader–follower topologies

如上图，拓扑A是前继跟随（PF，predecessor following）拓扑，拓扑B是前继-领导跟随（PLF，predecessor–leader following）拓扑，拓扑C是双向（BD，bidirectional）拓扑，拓扑D是双向领导（BDL，bidirectional-leader）拓扑，拓扑E是双前继跟随（TPF，two-predecessor following）拓扑，拓扑F是双前继-领导跟随（TPFL，two-predecessor–leader following）拓扑。请注意，这些拓扑针对单个排而言。在组排操作期间，可能会发生多种情况，例如多个排之间的交互或现有拓扑下的通信中断。为了排的稳定性和移动性，应考虑动态的或交换拓扑。动态或交换拓扑意味着随时间推移，排编队的拓扑会切换为不同拓扑。

在多机器人系统中，达成共识（consensus）可以被认为是重要的要求之一，在这种情况下，自动驾驶汽车可以通过与其邻居车辆在本地共享信息达成协议以形成阵型（formation）。

通常，收敛到一个共同的价值被称为共识，这取决于自动驾驶汽车之间的沟通。

根据一些设计的分布式协议，对与邻居共享信息的移动代理之间局部交互导致的共识行为（consensus behavior ）分析，是一个关键问题。

共识可以以多种方式提供帮助，例如：

• Alignment 对齐（指向同一方向）；

• Synchronization 同步（同一个时间）；

• Distributed Estimation 分布式估计（同一个估计/测量分配量）；

• Rendezvous 会合（在同一个点碰头）。

领导-跟随者控制（leader–follower control）是一种广泛采用的编队方法。在这种方法中，可以通过三种方式实现领导机器人：静态领导（领导机器人不变），虚拟领导（使用软件领导）和动态领导（根据情况而改变）。此外，负责机器人之间信息交换的通信拓扑结构在领导-跟从者方法中起着至关重要的作用。对于控制器设计，大多数文献都讨论了纵向控制。然而，横向控制对于在结构化环境中的自动驾驶车辆导航同样重要。一旦编排形成，就使用弦稳定性分析（string stability analysis）来进行编排的稳定性分析。在领导-跟从者方法中，每个位置向量和车辆分离向量之和达成共识，信息流（information flow）本身就是一个有向生成树（spanning tree）。

Distributed controllers in platoon framework

行为控制（Behavioral control）用于在未知或动态环境中实现多机器人系统的协调控制。当无法准确地建模或表征真实世界时，基于行为的方法最为有效。通过避免离线路径规划（offline path planning）并使用传感器来获取环境的即时信息，该方法为系统提供了在复杂或混乱环境中导航的自主权。

自动驾驶汽车的环境充满不确定性，并且也是不可预测的、嘈杂的和动态的。基于行为的体系结构启用实时处理、严重依赖感知（sensing）和无需构建潜在错误的全局世界模型等提供克服这些困难的答案。基于行为的机器人具有高度自治性和机械精确性，几乎没有计算资源，可以通过学习进行改进，可以通过软件重用（software re-use）编程并环境集成。

用于移动机器人的电机模式（Motor schemas ）是完成目标导向行为（goal-directed behavior）的一系列动作。模式和运动单元不是代表机器人可用的最简单的基本动作（例如，对机器人执行器的简单命令），而是代表了机器人动作的更高层次的抽象，例如避开障碍物、避开机器人、保持编队并移向目标（goal）。这些模式和运动单元定义仅用少量参数编码的控制策略，并用作机器人的基础集或运动词汇。这样的单元足以通过模式（schemas）或单元（primitive）的组合生成机器人的全部动作。通过实施几种运动模式，例如移动到目标（move-to-goal），避开静态障碍物，避开机器人和编排保持，考虑了许多编排形状，例如直线、圆柱、菱形和楔形。

在人工势场（APF，artificial potential field）方法中，移动机器人在搜索空间中具有由目标和障碍物生成的两个场。这两个场是障碍物产生的排斥力场和目标产生的吸引力场。这些力量在靠近障碍物或目标时会更强，在远处的影响较小。在这种方法中，目标位置获得了吸引力，而障碍物则对机器人产生了排斥力。机器人上合力（所有力的总和）用于确定机器人的运动和速度以及行进方向，同时避免碰撞。事实证明，APF是一种很好的避障算法，可用于编排问题。

聚合（Flocking）描述了飞鸟的行为、鱼类的放养或昆虫的蜂群行为。聚合控制主要包括三种行为：避免碰撞（也称为分离），速度匹配（也称为对齐）和聚合居中（也称为内聚）。速度匹配是矢量，是指航向和速度的组合。避免碰撞是一种分离行为，可以避免过度拥挤和彼此碰撞，聚合居中使机器人位于聚合中心或附近聚合伴侣附近。

聚合问题可以看作是编队控制问题的一个子案例，它要求机器人沿着聚合体的某些路径一起移动，但对特定机器人所采用的路径要求却很小。与聚合相比，编队更加严格，要求机器人在环境中移动时保持一定的相对位置。因此，多个移动机器人系统同时考虑聚合和编队控制。

一种虚拟结构（virtual structure ）方法旨在解决协作机器人运动过程中维持几何配置（geometric configuration）的问题。虚拟结构是机器人元素的集合，这些元素彼此之间以及与参照系之间保持（半）刚性几何关系。

虚拟结构方法的优点可以描述如下：

• 实现高精度控制的能力；

• 通过保持编队，在机器人故障期间具有固有的容错能力；

• 无需选举领导机器人；

• 无需修改即可针对不同种类的虚拟结构进行重新配置；

• 可以以分布式方式实施，而不会如集中式实施那样增加通信开销。

• 没有明确的功能分解。

拥堵是驾驶员对各种干扰的响应造成的。行动不便也会导致驾驶员沮丧、烦恼和压力，这可能会鼓励激进的驾驶行为并减慢恢复自由交通流的过程。网联自动驾驶汽车（CAV）可以通过减少和减轻交通事故来提高安全性。它们还可以通过改善交通流提供减少运输能耗和排放的机会。车辆与交通结构和交通信号灯之间的通信可以使单车优化其运行并应对不可预测的变化。本文总结了迄今为止文献中报道的CAV协调领域的发展和研究趋势，还讨论了其他挑战和潜在的未来研究方向。

为了实现这些目标，即减轻拥堵、减少能源消耗和排放并提高安全性，车辆需要能够相互通信并交换信息；也就是说，它们需要联接。解决交通拥堵问题的一种流行的系统级方法是形成高速行驶、同时加速或制动的车辆编组排（Forming platoons）。多年来，CAV的需求已变得流行。许多利益相关者直观地看到了多尺度车辆控制系统的好处，并已开始在各自领域开发业务案例，包括汽车和保险业，政府和服务提供商。显然，车对车（V2V）通信有潜力使车辆能够更快地考虑其相互环境的变化，减少交通事故并缓解交通拥堵。同样，车辆到基础设施（V2I）的通信，例如与交通结构、附近建筑物和交通信号灯的通信，允许各个车辆控制系统考虑到本地基础设施中不可预测的变化。

Vehicles able to communicate with each other and infrastructure, e.g., buildings and traffic lights.

使用集中式或分散式协同方法的大量研究工作都集中在协调交叉路口的CAV和在高速公路匝道上合并。如果系统中至少有一项任务是由单个中央控制器为所有车辆全局决定的，则它将方法分类为集中式。在分散式方法中，将车辆视为自主代理，它们试图通过战略互动（strategic interaction）来最大化其协作效率。在这种框架下，每辆车都从其他车辆和路边基础设施获取信息，优化特定的性能标准（例如，效率和行驶时间），同时满足运输系统的物理约束（例如，停车标志和交通信号）。匝道计表（Ramp metering）是用于调节汇聚入高速公路的车辆流量以减少交通拥堵的常用方法。尽管已经表明它可以帮助改善高速公路的总体交通流量和安全性，但由于匝道长度较短，可能会出现一些问题，例如对相邻道路上的交通产生干扰。以前已经探索了解决这些挑战的不同策略，包括反馈控制理论、最优控制和启发式算法。

鉴于最近的技术发展，一些努力考虑解决汇聚道路而引起的交通拥堵的几种路径。在这些努力中，假设道路上的车辆已连接并具有一定程度的自主权。该假设有助于设计策略，以实现合并动作的安全和有效协调，从而避免车辆不必要的走走停停（stop-and-go）操作。另一方面，对于十字路口，交通信号灯被认为是控制交通的最有效方法之一，并且仍在进行尝试以提高其有效性。据报导，使用集中式和分散式控制算法可通过交叉路口实现安全有效的交通自主控制的方法很多。请注意，交叉路口控制问题和合并控制问题本质上非常相似，为交叉路口控制提出的大多数方法都可以轻松地用于合并协调，反之亦然。

Interp with CAVs

Merging road way scenario with CAVs

数字设备正变得越来越普遍并且相互联系。它们向数字生态系统智能部分的演进创造了迄今为止尚未解决安全问题的新颖应用。一个特定的例子是车辆，随着车辆从简单的交通方式发展到具有新的感知和通讯功能的智能实体，它们成为智能城市的活跃成员。车联网（IoV）包括通过V2V（车对车），V2I（车对基础设施）和V2P（车对行人）交互而与公共网络进行通信的车辆，其收集和实时共享有关路网状况的关键信息。社交物联网（SIoT）引入目标（objects）之间的社交关系，创建了一个参与者不是人类而是智能目标的社交网络。该文探讨了车辆社交网络（SIoV，Social Internet of Things）的概念，该网络使车辆之间和驾驶员之间的社交互动成为可能。本文还讨论了SIoV的技术和组件，可能的应用以及可能出现的安全性，隐私和信任问题。

上下文觉察技术和无线车辆通信技术，例如专用短距离通信（DSRC）、长期演进（LTE）、IEEE 802.11p和用于微波访问（WiMax）的全球互操作性，其最新发展推动了车辆网络的设计、开发和部署。越来越多提议想把社交网络应用用于车载网络，这导致传统车载网络向SIoV的转变。

本文着重于三个主要方面：（1）下一代车辆； （2）车辆上下文觉察 （3）SIoV上下文觉察应用。车辆自组织网络（VANET）是一种移动自组织网络，已被提出来提高交通安全性并为驾驶员提供舒适的应用程序。VANET的独特功能包括遵循预定路径（即道路）的快速行驶的车辆和具有不同优先级的消息。

使用车载单元，车辆可以彼此（V2V）和与路边单元（V2I）进行通信。这可以实现多种其他形式的通信，例如车对宽带云（V2B）（其中车与监视数据中心进行通信），车对人（V2H）这种脆弱的道路使用者即行人或自行车，进行通信，或者车辆对传感器（V2S）、车辆与环境中嵌入的传感器进行通信。

On-street parking system scenario

IoV的一个关键方面是使车辆具有上下文觉察能力，即了解周围的情况，尤其是与之特别相关的情况。上下文觉察系统是那些能够使其行为适应其当前上下文环境的系统。车辆的上下文感知可以通过三个主要子系统提供：感知，推理和行动。

感知子系统从与车辆OBU集成的不同传感器收集上下文信息。这些传感器的类型根据车辆的要求而有所不同，例如位置、红外或超声波。换句话说，此表示是收集上下文数据的方式。

推理子系统处理原始数据以提取高级上下文信息，例如驾驶员的情况。可以从定义特定上下文信息的单个传感器中提取上下文信息，也可以从定义不确定上下文信息的多个传感器中提取上下文信息。

执行子系统代表应用程序执行者，该执行者为用户或其他驱动程序提供服务、传播警告消息、车载警报和智能停车辅助系统是部署高级应用程序的示例，这些应用程序可防止发生事故并减少道路拥堵。

Clustering of vehicles

A platoon of vehicles

出行（Mobility）是城市生活的支柱，也是世界发展的重要经济因素。快速的城市化进程和特大城市的发展正在带来车辆能力的变化。自主性、电气化和连接性等创新解决方案即将出现。那么，我们如何才能提供与传统和自动驾驶汽车的普遍连接？

本文试图通过结合网络虚拟化方面的最新创新飞跃与无线通信的壮举来回答这个问题。为此，它提出了一种称为自动驾驶汽车互联网（IoAV）的范例。通过讨论IoAV的显着特征和应用，它开始绘制IoAV这幅画，然后详细讨论关键的启用技术。接下来，本文描述了IoAV的分层体系结构并揭示了每一层的关键功能。然后是IoAV的性能评估，该评估表明了所建议架构在传输时间和能耗方面的显着优势。最后，为了最好地把握IoAV的优势，该文列举了一些社会和技术挑战，并解释了一些未解决的问题如何在未来扰乱自动驾驶汽车的广泛使用。

TABLE I: Classification of different attributes of IoV and IoAV

Prospective time-line of evolution of autonomous vehicles.

TABLE II: Classification of different contextual factors

Intelligent sensing technology stabilizing the movement of autonomous vehicle in closed spaces.

Three layers of IoAV：The physical layer，Virtual layer performs network，Management layer

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~