On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving

自动驾驶技术的追求取决于感知、决策和控制系统的复杂集成。传统方法，无论是数据驱动还是基于规则的，都因其无法理解复杂驾驶环境和其他道路用户的意图而受阻。这一点尤其在开发安全可靠的自动驾驶所需的常识推理和细致场景理解方面是一个重要瓶颈。视觉语言模型（VLM）的出现代表了实现完全自动驾驶的新领域。本报告对最新的VLM——\modelnamefull进行了详尽的评估，并探讨了其在自动驾驶场景中理解、推理和最终担任驾驶员角色的能力。我们的全面测试涵盖了从基本场景识别到复杂的因果推理和在不同条件下的实时决策制定。我们的研究结果表明，与现有自动驾驶系统相比，\modelname 在场景理解和因果推理方面表现出卓越的性能。它展示了在实际驾驶环境中处理分布之外的情况、识别意图和做出明智决策的潜力。然而，仍然存在一些挑战，特别是在方向判断、红绿灯识别、视觉基础和空间推理任务方面。这些限制凸显了需要进一步的研究和发展。该项目现已在GitHub上提供，供有兴趣的人访问和利用：\url{https://github.com/PJLab-ADG/GPT4V-AD-Exploration}。

解决问题
探索使用Visual Language Models（VLM）实现自动驾驶的可能性以及其在驾驶场景理解、决策和控制方面的表现。
关键思路
使用最新的VLM技术，特别是GPT-4V-AD模型，实现自动驾驶的场景理解、因果推理和实时决策，并在这些方面展现出优异的表现。
其它亮点
论文对GPT-4V-AD模型在自动驾驶场景中进行了全面的测试和评估，发现该模型在场景理解和因果推理方面表现优异，能够处理未知场景，识别意图并在实时驾驶环境中做出明智的决策。但是，模型在方向判断、交通信号识别、视觉定位和空间推理任务方面仍存在挑战和限制。