【mmdetection】— 可视化 NMS 前后的预测框

1.NMS

NMS(Non-Maximum Suppression)，即非极大值抑制，是 anchor based 目标检测算法中必不可少的一步，其目的是**抑制掉指向同一个目标的其他得分较低的预测框，只保留得分最高的预测框。简单来说，就是筛选出一定区域内属于同一种类的得分最大的框。

如上图所示，右下图到左下图，即分别为 NMS 前、后的预测结果图片。（图片来源于网络）

2.NMS步骤

（1）对目标的种类进行循环，依次对每一个类分别进行非极大值抑制；
（2）对于某一类别，根据 score 得分进行从大到小排序。
（3）每次取出得分最大的框，计算其与其它所有预测框的 IOU，IOU 大于阈值（一般设置为0.5）的则剔除。
核心代码实现为：
按照 score 降序排列 bboxes，集合定义为 F；
定义一个 keep 变量；
当 F 不为空时，执行以下循环：将 F 中得分最高的bbox放入 keep 中；计算该 bbox 与剩下所有bboxes 的 IOU，保留 IOU 小于阈值的 bboxes；更新 F；
当 F 为空时，返回 keep，即为 NMS 后的预测框（bboxes）。

3.可视化

在知道了 NMS 原理的基础上，我们想具体看一下 NMS 的功能效果，以及在自己数据集的表现如何，该怎么办呢？其实也很简单。
首先，打开**configs/base/models/faster_rcnn_r50_fpn.py，**如下图可以看到：

在 train 和 test 配置时候，共三处 NMS 过程。
在 mmdetectrion 框架中，利用 faster rcnn 进行训练时，涉及到 NMS 的有两个地方，三个过程：
①在mmdet/models/dense_heads/rpn_head.py中，231行在左右的 batched_nms 方法，消除RPN 过程中部分重复的proposal，在训练和测试过程中都会出现。
②另一个是在 /mmdet/models/roi_heads/bbox_heads/bbox_head.py 中，375行左右的 multiclass_nms 方法，返回测试时候预测框的NMS结果，只在测试时候出现。
找到 NMS 代码位置之后，我们就可以对其结果进行可视化了。这里举例，test过程中的NMS后处理过程，具体代码如下。执行 test 命令就可以得到预测框情况了。很方便，不用重新训练。

结果示例如下：

如图，左图为 NMS 之前的预测框，数目为 1000 个；右图为 NMS 之后的预测框，也就是最终的预测结果，数目大大减小，且没有一对多的情况。所以，NMS对于 anchor based方法是非常非常重要的。
怎么样，是不是很简单？如果对你有帮助的话，点个赞把！让我看看有多少小伙伴在一起学习人工智障！hh！