Libra R-CNN

titile	Libra R-CNN: Towards Balanced Learning for Object Detection
url	https://arxiv.org/pdf/1904.02701.pdf
动机	追求sample level、feature level和objective level的balance
内容	问题： 目标检测的性能受训练过程imbalance的影响。 训练过程中的主要问题： 1、sample level：IoU-balanced sampling选择的样本是否有代表性。 mining方法：对噪声类别敏感，有memory和计算损耗。 Focal loss：对二阶段R-CNN几乎没提升，因为easy negatives被两阶段过滤。 2、feature level：balanced feature pyramid 提取的features是否充分利用。 现有方法中integrated features更关注相邻分辨率，更少关注其他分辨率。在信息流中，integrated应包含非相邻级别中的语义信息。 3、objective level：balanced L1 loss设计的objective function是否最优。 classification and localization not balance,会有次优的性能，与easy和hard examples相似。 IoU-balanced Sampling： 1、采样的样本分布中hard negtive更多。 2、参数K对结果影响不大。 3、负样本：增加hard negatives，将samples根据IOU分成K个bin，然后从每个bin取等量的negatives，IOU大的更容易选择，如果有的bin不够N/K个，就会再从所有samples中选择。 4、正样本：每个gt_box类对应的boxes为一个bin，每个gt_box的boxes取相同数量的boxes，不够则随机选择。 Balanced Feature Pyramid： 整个过程分为四步：rescaling, integrating, refining and strengthening，将多层语义信息进行整合。 1、Obtaining balanced semantic features： (1)将C2-C5层resize到C4的大小（max pooling或插值）。 (2)对rescale之后的features取均值，balanced semantic features。 (3)使用相同但相反的过程rescale整合的特征，增强原始特征。每种分辨率的特征都可以从其他分辨率中获得相同的信息。 (4)性能提升，参数没有增加 2、Refining balanced semantic features： 卷积或non-local模块均可用来refine，non-local更稳定，所以采用embedded Gaussian non-local attention，加强特征整合。 Balanced L1 Loss： Faster rcnn的loss直接增加localization的权重，会增加outlier的影响(loss大于等于1的样本) localization(均为正样本)过程中outlier是hard examples会影响训练过程，inlier的easy examples在训练过程中相比与outlier只占30%的梯度贡献。 Balanced L1 Loss设计： 1、传统L1 smooth通过拐点来区别outlier和inlier。 2、Balanced L1提升重要的回归梯度，即gradients from inliers (accurate samples)。 3、训练中localization和classification更均衡。 较小α增加inlier梯度，outlier梯度不变。 γ调整回归误差的上限，帮助目标函数平衡任务。 b确保等式中两个公式x = 1时有相同值。
实验	Implementation Details： 8 GPUs (2 images per GPU) ，12 epochs，initial learning rate 0.02, 8和11 epochs学习率乘0.1。 Main Results： Ablation Experiments： Overall Ablation Studies ResNet-50 FPN Faster R-CNN baseline (1)IoU-balanced Sampling： (2)Balanced Feature Pyramid (3)Balanced L1 Loss Ablation Studies on IoU-balanced Sampling Ablation Studies on Balanced Feature Pyramid： Ablation Studies on Balanced L1 Loss：
思考	在我自己的数据集，retinanet加balanced L1，增大regression权重可以涨1.7个点，IoU-balanced sampling无效果，掉点；faster rcnn默认值训练也可涨
补充知识	non-local: 参考