读书笔记 - 智能体技术在城市交通信号控制系统中应用综述2014

《智能体技术在城市交通信号控制系统中应用综述》-2014

文中综述了智能体技术在交通信号控制系统中应用的技术与方法，包括系统架构、控制算法、建模与仿真，以及智能交通集成管理等方面；以及具体应用、研究动向。
提出发展基于多智能体的交通网络信号集成控制系统的关键问题在于系统交互性、自适应性和可拓展性。

背景

智能体计算技术（agent-based computing） 允许将系统分解成多个相互关联的智能体，协作实现期望的全局目标，是分布式复杂巨杂系统的内涵式解决方法之一。【1】

智能体计算技术对满足以下３个条件的问题具有强大的设计和分析能力【2】：
（１）该问题在逻辑上或物理上是分散的；
（２）子系统处于一个动态及不确定性环境；
（３）各子系统之间需要信息交互．

城市交通信号控制系统具有典型的分布式特征，且在时变的复杂交通网络环境下，仅凭局部路口的优化不能表征整体网络的性能。在交换关联路口信息的基础上，仍需要设计路口间精细的协调机制，采用联合的配时策略提升整体交通网络的控制效益。
智能体技术的自治性、协作性和交互性符合分布式交通信号自适应控制的内在需求【4】。

路口信号控制器可以感知周围环境并及时响应环境变化，且在没有人或其他因素的直接干预下，智能体能够自发的根据目标和环境的要求主动做出规划，实现交通控制的自动化；同时，通过各分布式路口智能体的相互协作，构建 多智能体控制系统(multiagent system，MAS)，以实现全局路网的控制目标。

基于智能体的交通控制系统构架及平台

静态智能体、移动智能体
与静态智能体相比，移动智能体具有从网络中一个系统转移到另一个系统的能力，具有减小网络负载，支持断开控制、支持异构环境、动态生成组件等功。因而，系统可在运行过程中实时地动态更新任务算法，并采用移动智能体技术将其发送到目标子系统中执行．

采用智能体技术开发的控制系统构架可分为分层式、网络式、混合式
分层式结构： 将整个系统分解成若干个子系统，各子系统彼此之间的交互较弱．
网络式结构： 完全分散的智能体系统，各智能体之间相互通信且独立进行决策；因而，各分布式的智能体仅考虑局部效益，不能从全局的角度预测整个网络状态．
混合式结构： 结合了分层式和 网络式的特征进行设计

aDAPTS交通管理系统【3】：移动智能体、网络级、3级分层式结构
（最高层负责规划和推理控制智能体的任务序列，中间层负责协调和分派控制智能体，最底层则实现各控制智能体的运行）
【3】WANG F Y. Toward a revolution in transportation operations: AI for complex system 2008,23(6):8-13

基于智能体的交通信号控制方法

文献【12】2006：多智能体，二级控制模式，Ｑ学习．

文献【14】2003：多智能体，三层分布式。基于神经网络的模糊逻辑，强化学习
包括交叉口控制器智能体(ICA)、子区控制智能体(ZCA)、区域控制智能体(RCA)．
ICA根据交叉口状态决定路口控制方案的修正（周期、绿信比、相位差）
ZCA控制所辖子区内的ICAs，制定各子区内的控制策略及协调机制
RCA控制所辖区域内的全部ZCAs，宏观制定区域的划分、调整及边界过渡方法

**** 文献【18】2006：单层分布式、多智能体 每一智能体负责网络中每一路口的交通信号，且分属于各自的协调子区。协调子区可根据路网交通条件进行动态更新和划分，协调子区内的智能体采用集体协同决策的方式优化关联路口的控制方案．

**** Samh等【23-24】2013：多智能体强化学习、单层分布式，
每个智能体负责单路口交通灯的信号控制．为实现全局协调所有智能体的控制动作，每个智能体与其物理邻近的路口智能体进行协调，并采用Markov对策建立路口多智能体的精细协调模型，旨在系统环境状态下选择最优的联合动作．为避免系统状态空间的维度灾难及保障计算效率，遵循一般矩阵博弈和最佳响应策略的思想，提出一种基于min-max的多智能体强化学习算法
目前，该方法正在加拿大伯灵顿的两个路口进行实证的应用研究．

高海军等【26】2003：考虑非机动车辆对路口信号控制的影响，提出了一种面向交通路口混合交通流的分布式模糊控制方法．

Yang【30】2005 和France【31】2003等：分层的多智能体模型，采用强化学习算法在线优化本地控制，并采用遗传算法学习强化学习参数；

于德新等【32】2006：采用遗传算法和博弈论进行交通信号协调优化控制，提出了一种基于多智能体博弈的城市道路交通控制系统．

Bakker等【33】2010：对比了３类扩展的多智能体交通信号协调控制，包括相邻路口拥堵信息、局部可测交通状态、精细协调机制

基于智能体的交通数据和诱控一体化

Li等【40】2003：多智能体技术研究了交通管理和路径诱导一体化
Weyns等【41】2007：基于智能体的行驶路径预测方法，出行车辆可分派下级的智能体搜索路径并将出行意愿告知路侧设施（信号灯），通过多智能体间协调以避免交通拥堵．

管青【42】2009：将区域交通信号控制与交通诱导协同理论相结合，从两者协同运作的角度出发，提出一种交通诱控集成一体化的管理系统架构，旨在根据实时路网交通状态，主动去调控及引导交通．