51-53 CVPR 2024 | DriveWorld：通过自动驾驶世界模型进行 4D 预训练场景理解 （含模型数据流梳理）

24年5月，北京大学、国防创新研究院无人系统技术研究中心、中国电信人工智能研究院联合发布了DriveWorld: 4D Pre-trained Scene Understanding via World Models for Autonomous Driving。

DriveWorld在UniAD的基础上又有所成长，提升了自动驾驶目标检测、目标追踪、3D占用、运动预测及规划的性能，后期扩大数据集和调整骨干网络大小应该会收益不少。

DriveWorld集成了BEV、Occupancy、World Model、LLM、Probabilistic Generative Model等核心技术，个人认为质量很高，改善精进的空间也蛮高。

总之，都在为开发出安全、舒适的自动驾驶基础模型努力着。

Abstract

以视觉为中心的自动驾驶由于其成本较低，最近引起了广泛的关注。预训练对于提取通用表示至关重要。然而当前以视觉为中心的预训练通常依赖于2D或3D前置Pre-text任务，忽略了自动驾驶作为4D场景理解任务的时间特征。在本文中，引入一个基于世界模型的自动驾驶 4D 表示学习框架（称为 DriveWorld）来解决这一挑战，该框架能够以时空方式从多摄像头驾驶视频进行预训练。具体而言，提出了一个用于时空建模的记忆状态空间模型，该模型由动态记忆库模块和静态场景传播模块组成。动态记忆库模块用于学习时间-觉察潜在动态以预测未来变化，静态场景传播模块用于学习空间-觉察潜在静态以提供全面的场景上下文。我们