VISTA -MIT开源基于数据驱动的自动驾驶仿真引擎

引言

VISTA 是MIT开源的一个基于数据驱动的用于自动驾驶感知和控制的仿真引擎。VISTA API提供了一个接口，用于将真实世界的数据集转换为具有dynamic agents、sensor suites、task objectives的虚拟环境。

用过 Unreal Engine 或者 Gazebo的仿真引擎的同学都知道，这些仿真引擎构建的虚拟世界需要构建各种对象的3D模型，为了逼真的渲染可能还需要设计各种纹理和图层。

而相比较而言，VISTA 不需要人工构建场景3D模型，而是以真实的自动驾驶数据作为输入，来重建虚拟环境，所以它的难点在于sim-to-real转换的能力。

VISTA通过一个灵活的接口，能够根据一个真实世界的数据集，来构建一整个虚拟环境，并且可以生成各种Agent，能够重新渲染生成感知的数据，这些Agent可以移动，并且可以与周围环境和其他对象相互交互。

VISTA仿真引擎的设计目标：

• Highly flexible and photorealistic data-driven simulation
• Research friendly API
• Sim-to-real and real-to-sim
• Closed-loop (active) testing
• New applications and benchmarks

参考文档

• VISTA Simulator 的官方wiki
• https://github.com/vista-simulator/vista
• VISTA 1.0: Sim-to-real RL : Learning Robust Control Policies for End-to-End Autonomous Driving from Data-Driven Simulation
• VISTA 2.0: Multi-sensor simulation: VISTA 2.0: An Open, Data-driven Simulator for Multimodal Sensing and Policy Learning for Autonomous Vehicles （ICRA2022）
• VISTA 2.0: Multi-agent simulation: Learning Interactive Driving Policies via Data-driven Simulation (ICRA2022)