[博学广艺] 复杂环境下的感知与导航 -- 从无人机到自动驾驶汽车

[博学广艺] Perception and Navigation in Complex Environments - From Drones to Self-driving Cars (复杂环境下的感知与导航 – 从无人机到自动驾驶汽车) (Shaojie Shen)

1. Drone vs Self-Driving Cars, The Similarities

Essentially autonomous mobile robots	本质上都是自主移动机器人
Aims to operate in complex environments	旨在在复杂的环境中操作
Demands high level of safety requirements	对安全要求很高
Demands state-of-the art sensing and computing component technologies	需要先进的传感器和计算组件技术
Cost-sensitive	对成本敏感
Technologically not ready yet	技术不成熟
Follows very similar robotic architecture and perception-planning-action loop	遵循十分相似的机器人架构和感知规划行为回环

2. Drones vs Self-driving Cars, The Architecture Fish

3. Drones vs Self-Driving Cars, The Differences

Drones （无人机）	Self-Driving Cars （自动驾驶汽车）
- Highly agile 3D motion	- 2D motion with non-holonomic constraints
- 高灵敏度三维运动	- 非完整约束的二维运动
- Requires active stabilization	- Able to reach a stable stop
- 需要主动稳定	- 能够到达稳定的停止点
- Operates in mostly static environments	- Operates in highly dynamic environments
- 大多数情况下在静止环境中运作	- 在高度动态的环境中运作
- requires very little semantic understanding of the environment	- Needs to co-operate with traffic regulations and other road users
- 需要极少的对环境的语义理解	- 需要与交通规则和其他的道路使用者合作
- Very sensitive to size, weight, and power consumption	- Relatively flexible in terms of size, weight, and power consumption
- 对尺寸，重量以及能量消耗敏感	- 对尺寸，重量以及能量消耗相对灵活
- Global/national regulations are not in place, many regional and temporary ad-hoc regulations exist	- ADAS (Advanced Driver Assistance Systems) systems follow existing automotive regulations for on-road usage, but only test regulations exist for AD (Assistance Systems) systems
- 国际/国家法规不到位，存在许多区域的以及临时的法规	- 高级辅助驾驶系统在道路上遵循现有的汽车法规，但是对于辅助驾驶系统来说，仅存在测试法规
- Safety standards are not in place, the industry is very immature	- Some safety standards are widely adopted, but still a long way to go
- 安全标准不到位，产业十分不成熟	- 一些安全标准被广泛采纳，但依然有很长的路要走

4. Drones, The Architecture

5. Drones, the Trend

- safer	- 安全
- smaller and more agile	- 更小，更敏捷
- higher level of autonomy	- 更高层次的自主权
- close-proximity operations	- 近距离操作
- better human-machine interface	- 更好的人机交互
- decentralized aerial swarm	- 分散的空中群
- become a productivity tool	- 成为一个生产力
- better regulation	- 更好的法规

6. VINS-Mono: Monocular visual-inertial state estimation

vins-mono github

7. VINS-Fusion: stereo, odometer and GPS support

8. On-Going: tightly Coupled Visual-Inertial-GNSS (Global Navigation Satellite System) Fusion

9. Is monocular visual-inertial sensor suite also good for real-time dense perception? – Yes (单目的稠密三维重建 == muti-view stereo 多视角立体视觉)

1. D(d): 噪声项
2. S(d): 平滑项，平滑/协调全部的平滑与尖锐的边缘
3. cost volume: 成本量

10. MVDepthNet: Learning-Based Multi-View Stereo

MVDepthNet 网络关键：从端对端的训练中解耦多视角约束，这样网络就无需考虑视点的变化。

相较于 hand-crafted 方法 (TV_L1, SGM)

1. 不需要直观的数据项以及规范化的数据项。
2. 能更好的处理复杂的形状以及无纹理的目标物体。

TV_L1: TV_L1 Optical Flow Estimation
SGM: simi-global matching

11. Geometric Depth Pretrain For Monocular Depth Predication

MVDpthNet 训练的 RGBD 数据集质量与数量受限。但是网络上有无限制的视频内容（单目视频帧序列）。如何从这些数据中提取信息。
使用编码器网络从单个图像中提取结构先验（priors）。
与紧凑/压缩的运动信息一道，可以重建光流。

1. geometric pretraining: 几何预训练。

结构编码器能够对小数据集的深度估计更进一步的微调。微调的小数据比盲目的大量的数据进行网络训练更加高效，难度更加低。

完成深度图的实现，将深度图粘合成地图使得无人机可以在地图上进行几何规划。

12. Globally Consistent Dense Reconstruction

在复杂的大尺度环境中（全局地图），随意（trivially）融合深度图会导致地图的不一致，危害机器人的安全。

不用点云，用一堆平面表示环境。
面元重建，将世界建模成一系列面元并将他们附加在里程表位姿图上的映射系统。
面元可被视为点云。
彩色面元在局部融合时保持一致性。
没有使用灰度面元在对当前帧的融合时。

面元与里程计系统的关键帧相关联。只有附近位姿图面元对当前的融合有效（被激活）。
当圆环被侦测到，面元会依据位姿图的优化进行变形。
邻近面元在融合时被再次激活，使数据可以重用。

13. Trajectory Planning for Fast Autonomous flight\

目标
关闭 感知-规划-行动 环
在未知的混乱的环境中进行高速导航

挑战
为了规避障碍，应当找到可行的低延时的轨迹，因为无人机的高速度以及有限的传感器侦测距离
为了达到更安全以及平滑的导航效果，需要高质量的路径轨迹。
被动的避开遇到的障碍物有风险，（it is preferable to）更好的办法使主动的观察环境并对危险进行提早反应。

系统概览
红框：地图+位置估计
地图：体积地图融合+欧式符号距离场更新
位置估计：视觉惯性状态估计

绿框：快速的局部规划能力
path shortening + pruning: 路径缩短+裁剪
topological roadmap: 路线图的布置（topological）
toplogical paths searching: 路径布置搜索
path-guided trajectory optimization: 路径引导的规划优化

蓝框：感知意识规划
visibility status checking: 可见性状态检查
visibility status structure: 可见性状态结构
trajectory refinement: 轨迹优化
risk-aware tragjectory refinement: 风险-意识轨迹优化
yaw angle optimization: 偏航角优化
yaw angle planning: 偏航角规划

optimistic local planning
鲁棒+高效的局部规划
捕获环境结构的独特的路径被用来引导优化。
由于不存在局部极小值，解空间得到了更彻底的探索
在10ms内在板载电脑上生成高质量的轨迹

perception aware planning
对于那些可能危害到无人机的位置空域，为了得到更高的可视性，轨迹会变形。
关系到飞行安全的未知领域，规划偏移角，主动的观测其周围。
IMU: inertial measurement Unit. 惯性测量装置

14. Decentralized Aerial Swarm （无人机群）

无人机定义
安全可靠的单无人飞行平台
单机自主特点

• 高精度视觉惯性测量+全局重新定位
• 静态环境局部+全局密集映射
• 对障碍规避+长距离导航的轨迹规划
• 不需要额外的基础结构、

无人机群定义
可自我重新配置的网络架构
机群内部的通信
机群内的相对位置
机群内的碰撞避免+规划
空中管制
执行以上所有操作的同时保持单机的自主性

15. Decentralized Visual-Inertial-UWB Fusion for Relative State Estimation of Aerial Swarm

基于两阶段的空中机群状态估计

1. VIO(visual-inertial-odometry, 视觉惯性测量) + VINS-Mono / VINS-Fusion
2. 视觉惯性测量 + 侦测 + UWB (ultra-wideband, 超宽带) 相对测量，对基于优化的融合
   BA: block of algorithm

16. Drones, the Trend & the Gap

更安全
更小，更敏捷
更高程度的自主权
近距离操作
更好的人机交互界面
分散的空中机群
成为生产力工具
更好的监管

无人机相关知识点结束，开始无人驾驶知识点

17. Self-Driving Cars, the Architecture

18. 3D Object Tracking For Autonomous Driving

输入立体图像序列，连续的追踪自主相机位姿+周围的3D物体位姿。
仅使用使用多视角几何估计3D物体运动。

利用 slam vino adjustment 的 know how 融入到 object tracking，slam vino adjustment 对提高系统精度有帮助

19. 3D Object Estimation From 2D box

假设 3D 边框的投影紧密的贴合 2D 边框。

20. Extend Visual SLAM To Dynamic Ojects

通过像素级特征相关性约束目标相对运动。
集成特征投影、载具行动模型、2D-3D边框关系等使其成为一个非线性优化的框架。一个大BA（block algorithm）。

优化结果

21. Imporve 3D Detection Accuracy: Stereo RCNN

动机：

• 稀疏特征对阻塞+远距离物体并不鲁棒。
• 从图像直接侦测 3D 物体需要预先计算的密集视差。（计算成本，不需要显示的利用对象先验）。
  解决办法：
• 在原始的立体视觉中结合稀疏（2D 边框，关键点）+ 密集几何（像素强度）区定位 3D 物体。

22. Two-Stages Stereo 3D Object Localization

使用稀疏边框级视差以及关键点的 3D 边框估计。
使用密集像素级光度误差对 3D 边框进行优化。
达到 0.2-0.3 亚像素精度。

同时完成检测+跟踪

23. Improve 3D Tracking Accuracy: Joint Optimization

专注于离散关联问题和连续轨迹估计问题的完整的立体3d跟踪系统。

24. Joint Spatial-Temporal Optimization

形状感知的空间对齐（光度误差）

• 预测的在所有前景像素+对象中心的局部深度
  密集的时间约束）（重投影误差）
  位姿约束

达到检测+跟踪一体化动作

25. Efficient Uncertainty-Aware Decision-Making For Autonomous Vehicles Using Guided Branching

Self-Driving Cars, the Architecture

接下来：行为规划（behavior planning）+运动规划（motion planning）

动机
非确定性建模：POMDP（partially observable markov decision process， 部分可观察马尔可夫决策过程）在数学上很严谨，但是计算量大。
风险场景发现：在不确定预测的情形下，如何更快的识别风险场景。

方法：

• DCP-tree 特定领域的闭环策略树。
  – 使用语义级的行为（领域知识）而不是离散的控制输入。
  – 维持一个有语义级行为构建的决策树。

方法：

• 在不确定预测下的风险场景的发现。
  – 使用 开环 正向仿真 (便宜)，快速的识别风险场景
  – 使用 闭环 正向仿真 (相对昂贵)，细节性的实现选择的场景。

系统流程

仿真
可视化注释

案例1：超越前车

案例2： 为其他车辆让路
仿真平台：rviz + gazebo

26. Safe Trajectory Generation Using Spatio-Temporal Sematic Corridor

动机

• 空间-时间走廊：在城市环境中的编码复杂语义的一个同一的表现。
• 利用贝塞尔曲线的凸包属性保证安全和可行性。

关键（点）观察：在空间-时间领域的一定范围表达为障碍/约束的语义属性。
输入：行为决策（离散）。
输出：生成走廊+分段性的贝塞尔曲线优化。

案例：Safe Trajectory Generation for Complex Urban Environments Using Spatio-temporal Semantic Corridor (使用空间-时间语义走廊对复杂的城市环境的安全的轨迹生成)

27. Self-Driving Cars, the Trend & the Gap

在不同市场总，在特定情况和功能下进行部署。

• 在乘用车上的传统的 L1-L2 高级辅助驾驶系统
• 在乘用车上的L2+ 功能（TJA ?, HWA ?）
• L3 功能进入市场
• 机器人出租车
• 机器人卡车
• 最后一公里递送
• 低速行人运动

安全是最重要的

• 关键是定义 “安全的程度”
• FuSa？
• SOTIF ？需要做更多的工作使其成为辅助驾驶的系统的最好的实践
• Robotaxi 以及低速汽车，还没有安全标准，但是相似的标准会很快出现
• 无人驾驶功能会最先出现，安全规则会在之后出现