强化学习与自动驾驶-Deep Reinforcement Learning for Autonomous Driving: A Survey

最近一直在看用cv的方法进行轨迹预测,大老板说也许可以用强化学习来做,于是读了21年的 “Deep Reinforcement Learning for Autonomous Driving: A Survey” 这篇文章。这里对文章进行了简单的概括分享,作为我之后工作的一个基础,也希望能帮助到同样做自动驾驶的同学。

原文链接:https://ieeexplore.ieee.org/document/9351818

监督学习不适合自动驾驶任务

机器学习分为监督学习、非监督学习以及强化学习(RL)。自动驾驶研究是一个解决序列决策的问题,得到的最优行动就等于强化学习中的策略。而监督学习不适用于这类研究,原因如下:

  1. 智能体的行为预测改变了未来传感器从环境中接收到的观察结果
  2. 碰撞时间等参数在环境中不确定。需要最大化的随机代价函数来解决;
  3. 学习的环境时刻在变化。有些任务要在驾驶的每一刻预测最优,就要一直学习环境的新配置。

自动驾驶的感知模块(perception module)

  1. 车道位置;
  2. 可行驶区域;
  3. 车辆、行人;
  4. 交通灯状态。

以上的这些从感知模块中获得,为中级抽象表示,经过Scene Understanding生成高级动作或决策模块。这个过程包括场景理解、决策以及规划,而且这个过程往往综合了激光雷达、相机以及雷达所获得的信息。

自动驾驶的控制器

控制器基于经典最优控制理论。其从预先确定的地图或专家驾驶记录获得路径上每个点所需的速度,转向角度,制动动作。

强化学习的一些基础概念

  1. 一个奖励函数 r 评估一个智能体(agent)的表现;
  2. 用ε-greedy和softmax来管理权衡策略以达到探索未知东西的目的;
  3. 马尔可夫决策过程(MDPs)用来解决单个智能体的序列决策问题。

应用强化学习可以应用在控制器优化、路径优化、高级驾驶策略开发、交叉口合并与分割策略学习等任务。深度强化学习(DRL)包括状态空间、行动空间和奖励功能。在自动驾驶这个课题下,状态空间就是自己车辆的位置、方向和速度,以及其它障碍物。

已有的自动驾驶(AD)任务

  1. 车道保持;
  2. 车道改变;
  3. 斜坡合并;
  4. 超车;
  5. 十字路口;
  6. 运动规划。

设计自动驾驶的奖励函数仍然是一个非常开放的问题,因为会受速度、人行道等因素的影响。

自动驾驶安全政策

已有系统对失去控制、看不见的障碍物作出反应。此时的外在奖励是专家,内在奖励是预测的误差。用多智能体强化学习(MARL)制定自动驾驶安全策略,可以应用于平衡高速公路上的超车行为,通过没有信号控制的十字路口等。

未来挑战

作者认为多智能体在自动驾驶领域会有更大的发展空间。

你可能感兴趣的:(机器学习,自动驾驶,智慧城市)