论文阅读 RRPN: RADAR REGION PROPOSAL NETWORK FOR OBJECT DETECTION IN AUTONOMOUS VEHICLES

RRPN: RADAR REGION PROPOSAL NETWORK

ABSTRACT

Region proposal算法在物体检测领域扮演着重要的作用，但是因为检测时间等问题，对于自动驾驶这样的领域不太合适。

所以这篇文章提出了RRPN网络，RRPN网络首先通过将雷达探测映射到图像坐标系统，并为每个映射的雷达探测点生成预定义的锚框（anchor box），接着这些锚框根据物体与本车辆的距离进行变换（transformed）和缩放（scale），为检测到的物体提供更准确的建议。

测试采用了NuScenes数据集，与SS算法相比有着更高的准确率和召回率，代码地址： https://github.com/mrnabati/RRPN

---

1. INTRODUCTION

实时目标检测是自动驾驶领域最具有挑战性的问题，多种类传感器的使用使得目标检测更加准确但也使得设计这样一个探测网络更加复杂。

雷达（Radar）可以提供被探测物体的精确距离（range）和距离速率（range-rate）信息，但不适合分类任务（classification）。相反相机（Camera）可以十分有效的进行物体分类，所以这两者的融合是自动驾驶领域的热门话题。

本文通过依靠雷达检测来得到感兴趣的区域（ROI），绕过了基于视觉region proposal步骤，同时提高了检测精度。在新发布的NuScenes数据集中展示了方法的有效性。

---

2. RELATED WORK

略过

---

3. RADAR REGION PROPOSAL NETWORK

我们提出RRPN这样一种算法用于自动驾驶车辆中的目标检测和分类，这是一种利用雷达检测生成目标proposal的实时算法。

generated proposal 可用于任何two-stage目标检测网络例如Fast-RCNN。仅依靠雷达探测来生成object proposal，使得RPN速度极快，适合自动驾驶应用。该网络除了作为目标检测算法的RPN外，还具有融合雷达和相机数据的传感器融合算法的特性，以获得更高的精度和可靠性。

RRPN提供了一个attention mechanism来将计算资源更多的放在输入数据的一部分而不是整张图片。例如：需要对道路上的物体给予更多的关注，但不需要投入资源去检测广告牌上的车辆图片。基于雷达的RPN只关注车辆周围的物理物体，专注于输入图像中更重要的部分。

整个网络由三部分构成：perspective transformation, anchor generation，distance compensation,

3.1 Perspective Transformation（透视变换）

生成ROI的第一步是将雷达探测数据从车辆坐标（vehicle coordinate）映射到相机坐标（camera-view）

3.2 Anchor Generation

当雷达探测数据映射到图片坐标下（image coordinate）后我们得到每个探测物体在图片中的大致位置，我们称这些为Points of Interest (POI)。为了得到ROI我们生成以每个POI为中心的边界框。

其中存在的问题是：
1.雷达探测数据并不总是映射到图片中物体的中心点
2.Radar并不提供关于探测物体大小的信息，并且对于不同大小的对象，建议使用固定大小的边框不是一种有效的方法。

解决问题的方式是：对于每个POI我们生成多个不同大小和比例的bounding box，在本文中使用了4种不同的大小和3种不同的比例。

3.3 Distance Compensation

决定被探测物体在图片中的大小中时，其到车辆的距离起到了关键作用。大小与距离是反比的关系。使用以下的公式来决定缩放因子：

其中α和β是由学习得到的

N 训练图片的数目
Mi 在图片i中ground truth bounding boxes的数量
Ai 图片i中生成的anchor数量
IOU anchor与ground truth bounding box的iou大小

---

4. EXPERIMENTS AND RESULTS

4.1. Dataset

使用了最近流行的NuScenes数据集

4.2. Implementation Details

使用RRPN来得到ROI，之后送入Fast R-CNN目标检测网络。Fast R-CNN使用了两种不同的骨干网络：原始的ResNet-101网络和ResNeXt-101网络。

在训练阶段，使用了在COCO数据集上预训练好的模型，之后在NS-f和NS-FB上进行了fine-tune

---

5. CONCLUSION

We presented RRPN, a real-time region proposal network for object detection in autonomous driving applications. By only relying on Radar detections to propose ROIs, our method is extremely fast while at the same time achieving a higher precision and recall compared to the Selective Search algorithm. Additionally, RRPN inherently performs as a sensor fusion algorithm, fusing the data obtained from Radars with vision data to obtain faster and more accurate detections. We evaluated RRPN on the NuScenes dataset and compared the results to the Selective Search algorithm. Our experiments show RRPN operates more than 100x faster than the Selective Search algorithm, while resulting in better detection average precision and recall.