复杂背景下的自动驾驶目标检测数据集

复杂背景下的目标检测数据集：

一、有雾场景下的目标检测数据集

发展：

1. 2017年Li等提出第 1 个端到端的去雾网络 AODNet, 并且讨论了图像去雾对目标检测任务的影响. 其选取目标检测网络 Faster R-CNN与AODNet 进行联合优化训练, 并进行目标检测的评估, 这是第 1 个涉及合成有雾场景下目标检测的研究.

2. 2018年 UFDD(unconstrained face detection dataset)有雾场景下的人脸数据集发布，该数据集包含 6 种恶劣环境下的人脸。

3. 2019年Li该课题组发布了大型的合成有雾图像数据集 RESIDE，该数据集包括真实世界有雾场景下的目标检测数据集(annotated realworld task-driven testing set, RTTS)和合成世界目标检测数据集, 这是目前唯一带多类检测标签的真实有雾场景的目标检测数据集。该数据集格式与VOC2007相同格式标志 5类目标, 分别是汽车、自行车、摩托车、人和公共汽车. 该数据集分为5个子集，每个子集都可以用来训练和评估。

4. 2019年UG2+有雾场景数据集提出，同样使用VOC2007 的格式标注与 RTTS 相同的 5 类目标, 但该测试集仅公布其中的 100 幅图像标签.

5. 2021年论文《真实有雾场景下的目标检测》中在目标检测数据集 MS COCO 上合成有雾场景下的目标检测数据集S-COCO进行训练，并在RTTS 数据集以及 UG2+ 数据集上验证测试。本文提出了基于知识引导的目标检测框架(knowledge-guided object detection, KODNet)和基于图像去雾和目标检测的联合学习框架(joint learning in dehazing and object detection, DONet). KODNet 通过统计先验学习, 设计了深度检测模型中锚框面比, 以此指导真实有雾场景下的目标检测. DONet 将去雾模型与目标检测模型级联并进行联合学习, 使网络同时完成图像去雾任务和目标检测任务。
   数据集的合成：首先, 对每幅图像进行深度估计并生成深度图像. 接着, 采用导向滤波方法对深度图像进行平滑, 生成具有真实感的深度图像. 最后, 采用大气散射模型, 将滤波后的深度图像和清晰图像合成有雾图像. 最终建立了有雾场景下的目标检测数据集 (synthetic Microsoft common objects in context, S-COCO).探讨了知识引导和模型联合优化对真实有雾场景下目标检测的促进作用.

6. 论文《雾霾天气下的车牌识别算法研究》对有雾场景下的车牌进行检测。首先训练数据集来自RESIDE数据集中的ITS和OTS子集数据集合成有雾图像，最后采用RESIDE数据集中的子集数据集测试验证。

7. 论文《面向交通场景理解的除雾算法研究与分析》对雾天交通场景进行除雾。首先,对当前具有代表性的3种除雾算法进行对比测试,并在合成测试集以及真实雾天测试集上对不同除雾网络的除雾效果进行分析评价,测试结果表明现有除雾算法在合成测试集上表现较好,而对真实雾天图像适应性较差。其次,为改善现有除雾网络在真实雾天图像上适应性较差的现象,在现有网络基础上进行除雾网络改进。选择生成式对抗除雾网络作为本文除雾网络的主要结构,并引入多尺度密集特征融合模块,减少图像特征提取过程中空间信息的丢失。实验证明所改进的除雾网络在SOTS室外合成雾天测试集和RTTS4322真实雾天测试集上都有良好的除雾效果。

评价指标：

峰值信噪比（PSNR）,结构相似性（SSIM）。

目前存在问题：

1. 数据集缺乏. 由于有雾场景图像的收集是一个非常费时耗力的任务, 并且有雾图像的目标标记成本非常高.现有的数据集要么是用于目标检测的 , 如 PASCAL VOC和 MS COCO, 要么是单纯用于图像去雾的, 如 HSTS,其在真实有雾场景下的带目标标记的数据集非常少. 目前包含多个类别的且公开的真实有雾场景下目标检测数据集仅有 RESIDE RTTS 数据集. 而深度模型对数据的需求极大, 没有大量的训练数据, 就难以得到鲁棒且效果不错的深度模型.
2. 解决方案单一. 目前有 2 类方法可用于有雾场景下的目标检测: 一类方法是直接使用现有的通用目标检测方法, 但检测器性能因图像细节缺失、对比度低、颜色失真和目标分布不同等问题而大大降低; 另一类方法是对图像先去雾再进行目标检测.众所周知, 图像去雾技术已取得长足的进展, 出现了一些效果显著的去雾方法, 如 DehazeNet和PFFNet.
3. 采集难、标注难：有雾场景下的目标检测数据集具有采集难、标注难的特点, 因此数据集中存在漏标、错标等噪声, 造成有雾场景下目标检测性能的下降.

二、有雾场景下的目标检测数据集

1. 2022年3月，华为和香港、广州两所大学一起发表的论文“CODA: A Real-World Road Corner Case Dataset for Object Detection in Autonomous Driving“，提出CODA数据集：自动驾驶中道路目标检测的极端情况数据集。
   数据集网址：https://coda-dataset.github.io
   该数据集由 1500 个精心挑选的真实世界驾驶场景组成，每个场景包含四个目标级的极端案例（平均），跨越 30 多个目标类别。在大规模自动驾驶数据集上训练的标准目标寄存器在CODA的mAR表现显着下降到不超过12.8%。
2. 西安交通大学的数据集：网址：http://iair.xjtu.edu.cn/xszy.htm
   针对模糊图像，真实交通场景，人脸等目标检测的数据集。

参考：

1. 解宇虹,谢源,陈亮,李翠华,曲延云.真实有雾场景下的目标检测[J].计算机辅助设计与图形学学报,2021,33(05):733-745.