【数据增强】Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming

本文贡献在于：

1. 提供三个简单易用的人造数据集
2. 一些结论（详细看实验部分）：backbone也在增强训练集（本文验证了风格迁移）上训练，测试效果更好，使用合并数据集训练，证明在真实数据集上也有表现不错。

 

摘要

1. 图片扭曲和天气条件对深度学习在真实世界的应用影响很大
2. 标准目标检测模型在腐蚀图片上性能下降（30-60%下降）

 

贡献

1. 提出一个Robust Detection Benchmark，包含三个benchmark datasets，叫做PSCAL-C, COCO-C和Cityscapes-C
2. 在人造自然腐蚀图片，如模拟的雨、雪和雾等自然情况下性能改善
3. 在所有的evaluated corruptions上有很大的robustness改善。

• Benchmark: data and data analysis are available at https://github.com/ bethgelab/robust-detection-benchmark.
• Our pip installable image corruption library is available at https://github.com/ bethgelab/imagecorruptions.
• Code to stylize arbitrary datasets is provided at https://github.com/bethgelab/ stylize-datasets.
• Our evaluation code to assess performance under corruption has been integrated into one of the most widely used detection toolboxes. The code can be found here: https://github.com/bethgelab/mmdetection

 

方法

1. 15种腐蚀，每种包含5个严重级别。腐蚀被分为4组：noise, blur, digital和weather groups。腐蚀不是用作训练数据增强的toolbox，仅在测试模型的最终表现时使用。对于模型validation，4种（Speckle Noise, Gaussian Blur, Spatter, Saturate）。
2. 使用目标检测数据集PASCAL & COCO和街景 Cityscapes。测试数据：VOC2007测试集作为PSCAL，COCO 2017验证集，Cityscapes验证集
3. 评价指标：

AP50时50% IoU，AP是50-95% IoU。腐蚀图片上的评价指标：

对应的评价模型退化能力：

 

1. Style transfer as data augmentation: 在训练集上使用Fast style transfer method: AdaIN，超参alp = 1。风格替换为Kaggle’s Painter by Numbers。

2. Nature Distortions

• Foggy Cityscapes：将图片转换为雾风格，包含3个level。
• BDD100k，包含十万个驾驶视频，包含不同自然条件，如天气变换，一天的不同时段

 

实验

 1. 不同model和backbone在数据集上的表现

 2. 在标准数据集上训练/完全风格化数据集上训练/合在一起的数据集上训练，在三个-C数据集上测试，可以看到合并数据集效果最好。

3. 在标准数据集上测试

4. 不同预训练方式测试

5. 在真实数据集上测试