深度学习中目标检测中的难点

难点一：小目标问题

小目标检测文章总结

小目标检测的五个方向 + Global Context +Local Context 综述

例如:i)图像的缩放;ii)浅网络;iii)上下文信息;iv)超分辨率。补充还有针对小目标的图像增强，这个是最新的一篇论文中有提到。

对于许多下游任务来说小目标检测相当重要。对于自动驾驶车辆安全来说，从高清图像中检测出小样本或者远距离样本相当重要。许多目标，例如交通灯或者行人，在高清样本中很难被察觉。在医学图像中，对于肿块或者肿瘤的早期检测对于尽早的精准诊断十分重要，然而这些目标很有可能大小只有几个像素。工业自动检测通过定位物料表面小的视觉瑕疵来从小目标检测中受益。还有卫星图像分析，在这个应用中例如汽车、船与房子这样的目标都需要被有效的标注出来。在平均一个像素表示0.5到5m的分辨率下，这些目标有可能只有几个像素。换句话说，小目标检测与分割需要投入更多的精力，因为在现实世界中部署了更复杂的系统。我们因此提出了一种改进小目标检测的新方法。

在MS COCO数据加上，专注于SOTA的Mask R-CNN检测器。除了小目标外我们注意到这个数据集还有两个特点。首先，我们观察到数据集中包含小目标的样本数量较少，这样潜在的让目标检测模型更关注中大目标的检测。第二，由小目标覆盖的区域更小，这样小目标的位置会缺少多样性。我们推测这使得小目标检测的在验证时的通用性变得很难，因为他们只出现在样本中很少被训练到的位置。

我们通过过采样包含小目标图像的方式解决上述第一个问题。第二个问题通过在包含小目标样本中多次复制粘贴小目标来解决。当粘贴每个目标的时候，我们保证粘贴的目标与现有的目标不重叠。这增加了小目标位置的多样性，同时保证目标出现在合适的上下文，如图3所示。每个样本中小目标个数的增加进一步解决了匹配的anchor数目问题。总体来说，我们在MS COCO数据集，使用SOTA的Mask R-CNN模型，在小目标实例分割上取得了9.7%的相对改进，在小目标检测上取得了7.1%的相对改进。

Oversampling

我们通过相对少的包含小目标的在训练时过采样来解决样本少的问题。这个方法是花费最少并且最直接的方式来缓解MS COCO数据集并且改进在小目标检测中的表现。实验中，我们改变过采样率，探索过采样不仅仅在小目标检测，而且在中大型目标检测中同样有效。

Augmentation

在过采样的同时，我们也使用专注于小目标的数据扩展方法。MS COCO中的实例分割mask使得我们可以将任意目标从它原来的位置进行拷贝。拷贝被粘贴在不同的位置。通过增加每张样本中小目标的个数，匹配的anchor的数据增加了。这样改进了小目标在RPN训练期间在loss函数中的贡献。

在将目标粘贴到新路径之前，我们进行随机变换。我们通过将目标尺寸在±20%范围，旋转在±15°范围缩放。我们只考虑未被遮挡的目标，因为使用有遮挡区域的不连续样本会失真。我们确保新粘贴的目标不与任何现有的目标重叠，至少与图像边界保持5个像素的距离。

在图4中，我们可视化展示了提出的数据扩展策略，与它如何在训练阶段增加匹配的anchor数量，从而得到更好的小目标检测器。

难点二：目标重叠问题

谈谈深度学习目标检测中的遮挡问题

难点三：猫狗相似度高问题

 

难点四：物体部分遮挡问题