目标检测中的不均衡问题综述

导推荐的，简单看了一下，（太菜，太多不懂，希望以后会懂，简单做个记录
其实做的是xmind，但是想放到csdn上只能导出成md了。

Imbalance Problems in Object Detection: A Review

类别不平衡

简单理解

• 正例数量远远小于负例数量

Foreground-Foreground Class Imbalance

• 分类类别上的不平衡

• 发生情况

  • 数据集（dataset-level imbalance）
  • 一个 batch （mini-batch-level imbalance）

• 存在的问题

  • 没有太大的引起现阶段目标检测研究的重视

Foreground-Background Class Imbalance

• 研究最广泛，程度最深的一类不平衡

• 引发原因

  • 不是由于数据集引起的
  • 由于现有目标检测架构引起的

• 发生情况

  • background anchors 远远多于 foreground anchors

• 解决方法

  • hard sampling

    • 有偏采样

    • 例子

      • mini-batch undersampling （R-CNN 系列标准配置）
      • OHEM
      • IoU-balanced sampling
      • PISA
      • 类 RPN 的 objectness 方法

  • soft sampling

    • loss reweighting

    • 例子

      • Focal Loss

• 总结

  • 一大问题

    • 几乎所有的 sampling heuristics 都基于启发式
    • 具有大量的超参数需要调整

  • 举例

    • OHEM 需要调 mini-batch size 和 fraction
    • Focal Loss 需要调 α 与 γ
    • GHM 有一些必要的前提假设与区间 M 需要调

  • 解决不平衡最佳的策略（分布）是难以定义的

  • 本文

    • 回顾了 foreground-background imbalance

      • 探讨 sampling heuristics 是否必要

    • 由数据引起的不平衡

      • foreground-background imbalance 在训练和测试中是具有等同分布的

      • 使用采样，可能会改变这种分布

        • 不一定会在测试中取得更好的结果

      • 不使用采样

        • 陷入难以训练的境地

anchor-free 的 detector的不平衡

• anchor-free 的检测器大多基于关键点的检测驱动

  • extreme point
  • center point
  • corner point

• foreground points 数量比 background points 存在着明显差异

  • 影响

    • 不若 anchor boxes 那般造成如此剧烈的不平衡
    • 导致绝大部分的 anchor-free 检测器采用了 Focal Loss 或者其变体来训练网络

尺度不平衡

Object/box-level Scale Imbalance

• 例子

  • COCO 中的小物体过多

• 发生情况

  • 当某个尺度范围内的物体 over-represent 该数据集后

    • scale imbalance 就会发生

• 影响

  • An Analysis of Scale Invariance in Object Detection - SNIP 中的 investigation 指出
  • 极大影响 overall detection performance

• 处理多样性的边界框

  • 方法

    • pyramid

      • image pyramid （SNIP, SNIPER)
      • feature pyramid（SSD, FPN 等）
      • image pyramid + feature pyramid

  • 典型工作

    • Naiyan Wang: TridentNet：处理目标检测中尺度变化新思路

Feature-level Imbalance

• 是什么

  • FPN-based architecture里

    • 层级之间特征的不平衡性

  • ow Level 和 High Level 的特征之间互有定位/语义之间的优缺点

  • 如何 mitigate 这种不平衡来达到最佳的检测效果？

• 解决方案

  • 结构上

    • 各式各样的连接方法

空间不平衡

Imbalance in Regression Loss

• 对于那些 low-quality IoU bounding-boxes

  • 会产生很大的损失

    • L1 和 L2 loss 会被它们所主导

IoU Distribution Imbalance

• bounding boxes 在 IoU 段的分布上呈现出明显不均匀的分布

  • negatives

    • IoU 在 0~0.1 范围内的样本占据主导

  • positives

    • IoU 在 0.5~0.6 之间的样本占据主导

• 解决工作

  • Cascade R-CNN （Naiyan Wang: CVPR18 Detection文章选介（上））

  • 步骤

    • 通过级联结构
    • 逐步调高 IoU threshold
    • 增强正样本的质量
    • 防止 regressor 对单一阈值过拟合

Object Location Imbalance

• 解决工作

  • Region Proposal by Guided Anchoring

  • 作为一个 anchor-free 的 RPN

    • 可以预测出 proposals 的 location

多任务损失优化之间的不平衡

一般来说，分类任务的损失要比回归任务的损失要大一些

• 原因

  • 回归只做 foreground example
  • 分类要做到所有的 example

解决方法

• 设置 weighting factor 来调

  • 观察什么样的情况可以达到最佳

• Prime Sample Attention in Object Detection 里的 Classification-Aware Regression Loss

  • 让网络更加注意到回归较好的 bounding-boxes
  • 此让回归损失和分类的 score 相关
  • 从而使得梯度可以从 regression branch 流到 classification branch

参考文献

[1] https://mp.weixin.qq.com/s/tNQh-04Z1SWXvgH8dOm8qA
[2] https://github.com/kemaloksuz/ObjectDetectionImbalance