关于目标检测不平衡问题的一些工作

之前开的组会分享了一些在这方面的顶会，这边放博客上分享。
关于目标检测的不平衡问题，推荐阅读

two-stage目标检测算法回顾

本文主要分享的工作都是基于two-stage的，不妨先回顾一下。
以Faster RCNN为例：

• Training stage：
  RPN网络基于NMS，topN选出2000个proposals;
  所有proposals计算IOU，根据阈值分成正负样本；
  采样正负样本1：3进行roi pooling；
  送入Fast RCNN训练。

• Inference stage：
  RPN网络选出300个proposals；
  不进行采样，直接进行roi pooling；
  送入Fast RCNN前向传播；

下面讲一下三个方面的imbalance。

easy-hard Imbalance

众所周知：
难样本尤其有价值，解决难样本将更好地降低loss，提升指标。
but目标检测任务中简单样本占主导，使得模型难以关注难样本。

现有解决方案：
Hard Negative Mining/OHEM:
RPN输出正负Anchor数量差异悬殊。如果将所有默认框拿来训练，将导致对负样本的过拟合。因此 “挖掘”那些分类损失最大的负样本来训练（而不是像前面所说的随机采样），其数量为正样本的三倍。

Soft Sampling：
从损失函数上引导模型关注难样本。最典型的就是Focal Loss。
增大γ，把loss曲线往下拉，简单样本贡献的梯度减少，难样本贡献的梯度增大。

还有很多通过采样来缓解easy-hard Imbalance的工作，可以看最前面的paper链接。

Feature Imbalance

基础FPN baseline：主要针对多尺度问题来结合上下文信息来提取特征:

存在问题：上下文语义信息的Imbalance（例如C2层信息直接整合至P2，缺乏强语义信息）

现有解决方案：

• PANet
  
  其中：
  Bottom-up Path Augmentation（图中b部分）
  
  扩展了FPN结构，缩短从低层特征到高层特征之间的路径，进一步减少了定位信息流动的难度；使得顶层信息具有更丰富的Low-level精确定位信息

Adaptive Feature Pooling（图中c部分）

传统FPN得到的proposal只能得到特定层级的特征，基于此，将每个proposal映射到不同的特征层次，用RoIAlign池化不同层次的特征网格，进一步融合不同层次的特征网格。

• Balanced Feature Pyramid
  传统特征融合方法更多关注的是相邻分辨率，非相邻层所包含的语义信息在信息融合过程中会被稀释一次，这样的过程是imbalance的。因此采用
  
  在不大量增加计算量的前提下平衡FPN深浅层语义信息，使特征更有辨别力。
  其中：
  rescaling：深浅层特征转换为相同分辨率
  integrating：相加取平均
  refining：non-local attention 强化语义信息
  strengthening：各特征图与refine map相加并resize

IOU Imbalance

在2-stage目标检测算法中的RPN阶段，所有bounding box与ground truth之间的iou并不服从均匀分布：

大量的低IOU box与高IOU box之间的imbalance问题；
training stage与inference stage之间出现mismatch问题；
仅增加IOU阈值导致正样本大量减少导致overfitting，且出现更严重的mismatch

现有解决方案：

• Cascade RCNN
  
  上图为Inference阶段回归和分类效果随训练中u的设置的变化
  (u：RPN网络中判定正样本的阈值)
  可以得出：单一阈值训练出的检测器效果有限，不能对所有的Proposals都有很好的优化作用。
  方案：
  
  通过级联，不断提高阈值u（0.5，0.6，0.7）；
  重采样机制，保证每个阶段有足够多的正负样本；
  前一个stage重新采样过的proposals能够适应下一个有更高阈值的stage

• IoU-balanced Sampling
  问题背景：训练阶段对proposal的采样问题：
  
  更多地关注难样本将对于提升检测性能更加有效，但是proposal难易样本存在Imbalance问题。
  目前方案的弊端：
  如果使用OHEM对噪声敏感且增加计算量（需要计算全部box的loss并排序）；
  在选取proposals阶段，随机采样结果往往是简单样本占主导地位；

是否可以显式地建立IOU与hard-easy之间的关系呢？

果然，通过实验可以发现困难样本并不是根据iou均匀分布在原有样本中。
解决方案：针对IOU的分层抽样取代随机抽样：提供一个难样本的关于IOU的先验分布，将hard example与sample的分布匹配；
区间内candidates越少，越倾向于sample；