Adaptive NMS: Refining Pedestrian Detection in a Crowd论文解析

本文主要贡献

（1）提出adaptive-NMS，可以根据目标密度动态改变实例中的抑制阈值；
（2）设计了一个Density-subnet用来学习密度分数，可以方便的嵌入single-stage和two-stage模型中；
（3）实现了CityPersons和CrowdHuman数据集的sota结果。

改进思路

Greedy-NMS

不同阈值下的Greedy-NMS结果

操作步骤：
（1）得到一组检测框集合B+对应的分数集合S；
（2）从B中选着分数最高的框M移除，放到目标集合F中；
（3）移除B中所有与M的IoU大于设定阈值Nt的框，并移除S中对应的分数；
（4）重复步骤（2）~（3）。
存在的问题：
Nt设置较低，miss rate增大，true positives可能被移除；
Nt设置较高，尽管高覆盖的true positives可以被保留，但false posives也会增加。

soft-NMS

解决方案：
将抑制步骤（3）改为使用重打分函数抑制

其中f函数是一个overlap的函数：
greedy-NMS中f恒等于0，即当bi与M的IoU大于Nt时，移除bi；
soft-NMS中f会随着IoU的增大减小si分数，即当bi与M的IoU大于Nt时，f=1-IoU或者f=exp(-IoU^2/σ)；
实质时通过soft惩罚项抑制M周围bi的分数si。

存在的问题：
在目标密集区域，与M高覆盖的bi虽然是true positives的可能性很大，但是仍然受到很大的惩罚。

Adaptive-NMS

修正策略：

其中Nm代表adptive-NMS中M的抑制阈值，dM是M的目标密度
将抑制策略分成三类进行讨论：
（1）当邻框远离M时（即IoU （2）当M处于密集区域时（即Nm>Nt），目标密度dM作为NMS的抑制阈值；
（3）当M处于稀疏区域时（即Nm≤Nt），初始阈值Nt作为NMS的抑制阈值。

Density Prediction

adaptive-NMS保持着greedy-NMS和soft-NMS的效率，但多了一步目标密度的预测，本文设计了一个Density-subnet对目标密度进行回归预测。

one-stage和two-stage的Density预测框架

因为检测器的输出特征只包含目标本身的信息，也就是语义特征和位置，难以直接进行目标密度的预测。
本文首先使用1*1卷积层降维，然后与objectness和bounding boxes两层进行concatenate，作为Density-subnet的输入，此方法对one-stage和two-stage检测器均适用。

实验

Cityperson

CrowdHuman

直观比较