论文阅读：Augmentation for small object detection(小目标检测的增强)-CVPR2019

论文题目：Augmentation for small object detection

论文题目：Augmentation for small object detection
论文链接：https://arxiv.org/abs/1902.07296
代码链接：https://github.com/gmayday1997/SmallObjectAugmentation
CVPR2019

1.介绍

1.1背景

小目标检测是目标检测中必不可少且具有挑战性的问题，在人脸检测，交通标记，缺陷检测等领域都是重要挑战。缓解小目标问题的方法有许多，例如：多尺度特征学习，数据增强，训练策略，基于上下文的检测和基于GAN的检测等。

1.2 小目标检测困难的原因

造成小目标检测困难的原因主要有两个：1.小目标的实例较少 2.小目标标注面积占比小
注意：当前检测器大部分的anchor匹配策略是以anchor和ground truth的IOU来划分正负样本，例如将anchor和GT匹配后，匹配IOU>=0.5的anchor会作为正样本参与训练。然而这种匹配方式更倾向于大目标，会造成了小目标匹配少，大目标匹配多的不平衡性。

2.方法

上面两个问题体现了小目标检测性能较差的原因之一是：训练数据中小目标的再现性较差，因此，作者提出了对小目标样本进行oversampling(过采样），然后对样本里的小目标进行复制粘贴，以此来提供足够的小目标来和anchor进行匹配，以此实现提高小目标检测的性能。

2.1Oversampling

在训练阶段对有小目标的图像进行Oversampling(过采样)，来解决含有小目标的图像较少的问题，过采样简单来说就是将一张图片重复加入训练几次，这种方式十分简单，但也有效，并且实现方式也很简单只需要将含有小目标的样本多复制几遍并修改名字就行。复制的次数就是oversampleing rate（过采样率），通过控制oversampleing rate来实现大中小的样本数量均衡。

2.2 Copy-Pasting

作者在oversampling基础上增加了copy-pasting（复制粘贴策略），也就是将小目标贴到图像中的任意位置并形成新的标注，并且粘贴的小目标可以进行随机变换（缩放，翻折，旋转等），这种方式通过增加每个图像中小目标的数量，匹配的 anchor 的数量也会随之增加，这进而提升了小目标在训练阶段对 loss 计算的贡献。
作者提出了三种复制粘贴小目标的方式：
1)图像中选择一个小目标，然后在随机位置复制粘贴多次
2)图像中选择许多小目标，并在任意位置复制粘贴它们一次
3)图像中所有的小目标在任意位置复制粘贴多次

3.实验结果

3.1Oversampling

作者做了充足的实验验证了这种扩增方式对小目标性能的提升。首先作者将Baseline（Mask RCNN）与加入Oversampling进行对比，如Table 3 所示，可以看出 Oversampling 不管是在检测还是分割都有所提高，但可能对大尺度目标的检测效果有损害，因此需要根据实际数据进行调整，并不是越大越好。

3.2Copy-Pasted

接着作者对Copy-Pasting（复制粘贴）的有效性进行了验证，将Baseline（Mask RCNN）与 几种组合Oversampling以及Augmentation进行比较如 Table 4所示。主要包括以下几类：
1)用Copy-Pasted后的图像代替原始图像（表格中的第二行）
2)在上面方法的基础上使用Oversampling(表格中的第三行）可以发现，上述两个结果相比于Baseline都比较差。
3)在测试的时候，不是在原始的测试集上，而是用训练集上的Augmentation方法同样去处理test数据集，性能获得较大的提高。

作者认为出现这种情况是由于人工复制的不完美性导致的，例如粘贴的目标 mask 和 background 亮度差，这些相对容易被神经网络发现。采用augmentation and oversampling 相结合的方法，取得了较好的效果，augmentation的概率为 0.5，这使得原始目标和 augmented 的目标比例为 2:1。这种设置比单纯的 oversampling 效果更好，验证了所提出的粘贴小对象策略的有效性

3.3 Copy-Pasted Strategies

这里我们简要介绍一下最好的情况，在这三种策略中第二种也就是选择多个小目标进行复制粘贴取得了最好的效果，并且在粘贴三次小目标的效果最好。如图表所示：

1). 一张图片中，随机选择一个小目标进行多次复制，放置在随机位置。复制一次效果最好
2). 一张图片中，随机选择多个小目标复制，放置在任意位置。复制三次效果最好。
3). 一张图片中，复制所有的小目标，放置在随机位置。复制一次效果最好