【论文笔记】：Augmentation for small object detection

&Title:

• Augmentation for small object detection
• CVPR2019

&Summary

作者分析MS COCO数据集，以及Mask RCNN在这个数据集上的目标识别、分割性能表现，发现模型对于很小的目标性能较差，认为是两个原因导致的：

• 含有小物体的图片少；
• 即使有的图片含有小物体，小物体出现得少。

提出在对存在小目标的图像进行oversample，以及复制小目标黏贴到不同位置的方法。
实现了在实例分割提升9.7个点，目标检测提升7.1个点（针对小目标）

&Research Objective

小目标的精度提升

&Problem Statement

作者统计了下面的表格（Mask R-CNN）

可以看出COCO中小物体很多，但是包含小物体的图片少，同时小物体在RPN阶段匹配的anchor更少，而且即使匹配，IoU也很小，这是造成detector对小物体性能差的一个原因。

作者总结了算法在小尺度目标上性能较差的两个原因，并分别提出了解决办法：

• 首先，数据集中只有较少的图像中包含了小尺度目标，也就是说目标类型样本数量不均衡——这使得模型检测时有偏差，对中目标和大目标有更好的表现；
• 其次，小目标面积较小，导致小目标在图像中的位置分布首先，因此在位置上泛化能力较差，而实际测试图像中，小目标却很有可能出现在在训练集中没出现过的位置——这使得小目标缺乏背景多样性

针对上面两个因素，作者给出了对应的解决办法：

• 训练过程中，多次使用那些包含小目标的图像用于训练(针对第一个问题)
• 将小目标在同一副图像中复制粘贴多次，即增加图像中该类小目标的数量，粘贴的过程中会避免覆盖掉已经存在的目标。这个过程还可以保证小目标所处的Context是合适的。

&methods

作者提出两个简单的方法来对训练数据集增强从而缓解上面出现的问题：

• Oversampling：是指在构造每个batch时，会对含小物体的图片重复采样，当然作者研究了不同的重采样率对性能的影响，也试验了对其他尺寸的物体进行重采样。
• CopyandPasting：由于COCO中含有每个物体的mask，因此可以将一个物体copy，然后paste到图片上的任意地方（当然可以旋转），从而增加单张图片上小物体的数目，需要注意的是paste物体时，文章也研究对物体边缘进行平滑的操作对性能的影响。
  
  如上图，左上角是一个anchor示意图，右上角是一个小目标所对应的anchor，一共只有三个anchor能够于小目标配对，且配对的IoU也不高，左下角是一个大目标对应的anchor，可以发现有非常多的anchor能够于其匹配，匹配的anchor数量越多，则此目标被检出的概率也越大。

上图右下角，本来只有一个小目标，对应的anchor数量魏三个，现在将其复制三份，则图中就出现了四个小目标，对应的anchor数量也就变成了12个，大大增加了这个小目标被检出的概率，从而让模型在训练的过程中，也能够有机会得到更多的小目标训练样本。

具体实现方式如下图，图中网球合飞碟都是小物体，本来图中只有一个网球，一个飞碟，通过人工复制的方式，在图像中复制多份。同时要保证复制后的小物体不能够覆盖原来存在的目标

&Evaluation

文章做了很多的消融实验，更多细节看原文。

&Conclusion

作者研究了小物体检测的问题。表明，小物体的平均精度较差的原因之一是训练数据中缺少小物体的表示。对于现有的最新物体检测器尤其如此，该检测器需要存在足够的物体以供预测的锚在训练期间匹配。

提出了两种扩展原始MS COCO数据库的策略来克服此问题。

• 首先，我们展示了在训练过程中通过对包含小物体的图像进行过度采样可以轻松提高小物体的性能。
• 其次，我们提出了一种基于粘贴复制的小对象的增强算法。

实验证明，与由Mask R-CNN在MS COCO上获得的最新技术相比，实例分割的相对改进为9.7％，小物体的目标检测为7.1％。如实验所验证的，所提出的一组增强方法在大小对象的预测质量之间进行了折衷。

&Thinks

• 小目标难以检测的原因：分辨率低，图像模糊，携带的信息少。由此所导致特征表达能力弱，也就是在提取特征的过程中，能提取到的特征非常少，这不利于对小目标的检测。
• 有几篇是在特征提取的时候引入一个辅助网络或者引导网络，来增加浅层小目标的信息，增强特征表达能力，在特征融合方面，应该还有其他融合方式来更好的体现小目标的特征表达。
• 本文提到，小目标图像少，也导致了小目标背景的单调性，所以采样方面，或者增加数据样本方面，解决大小目标样本不平衡问题都是可以考虑的点。
• IOU匹配方面，增加小目标匹配到的锚点框数量？？

参考

• 论文阅读：Augmentation for small object detection
• Augmentation for small object detection 阅读笔记