目标检测 慎用旋转数据增强

目录

概述

一个具体的例子

原因分析

影响分析

总结建议

---

概述

在进行SSD、YOLO等目标检测类模型训练的时候，为了提升模型的识别率和泛化能力，一般会采用数据增强策略，主要包括调整图片的亮度、对比度、水平翻转、平移、旋转、随机噪声等方式。而在目标检测任务中，若采用旋转数据增强，可能导致旋转后的标注框不再能准确地表示目标的最小外接矩形框，因此要慎用。

一个具体的例子

假设原图如下：

红色三角形为要标注的物体，黑色的为标注矩形框。

对图片绕中心点进行顺时针旋转45度,旋转后的图片如下：

我们可以计算出旋转后的黑色矩形框四个点坐标，取旋转后矩形框的最小外接矩形，就是变换后的标注框，如下图蓝色矩形框所示。

但是，现在目标的实际标注框应该为橘色（如上图所示），这两者并不等价！！！

原因分析

为什么会出现这种情况呢？

因为目标检测的标注框只是一个矩形框（一般是待检测目标的最小外接矩形），根据标注框，我们并不知道目标的明确边界（对比语义分割，明确知道边界）。

影响分析

目标检测的数据标注时，应该尽量采用统一的标注标准，比如要标注一个人，如果一些数据是标注人的最小外接矩形，另一些数据标注的框总是会标注大一些，可能就会导致模型不收敛、损失到一定值就降不下去或者损失下降的慢。

上边举得例子是检测目标在图片中心，且在图片中占比很大的情况。实际上假如目标较小，并且不在图片中心，或者检测目标本身就充满了标注框等情况，旋转的影响也会相应降低。

总结建议

1、目标检测任务，若采用旋转数据增强时，不宜旋转过大的角度(旋转角度小时误差小)。

2、可以先旋转图片后，手工调整标注框，再进行训练。

3、采用语义分割的检测方式，不影响旋转的方式进行数据增强。