基于毫米波雷达与视觉融合的行人检测

 这篇文章通过在数据层进行毫米波雷达与相机的融合以提高行人检测效果。其不仅可以通过雷达产生ROI以减小对图像进行滑动窗口检测的数量，提高检测速度，同时利用雷达，可以检测远处不明显的行人，提高检测范围。

文章题目 ：
Pedestrian Detection Based on Fusion of Millimeter Wave Radar and Vision
下载地址：
https://www.sci-hub.ren/10.1145/3268866.3268868

摘要

fig1.摘要  作者基于传统数据层融合的方法：

1. 提出一种帧内聚类算法与帧间跟踪算法，能够有效避免噪声问题，同时有效提取目标物体。
2. 采用最小二乘法计算相机与雷达坐标系转换矩阵。
3. 利用BING加速获取基于ROI的内目标识别

文章技术路线

fig2.行人检测架构

实现方法

提取有效雷达检测点

fig3. 实现方法

  补充：左下角的式子是雷达点聚类的依据。

1. 对每一帧进行聚类，属于群体的点标记为内点，否则为外点。
2. 同时建立一个缓冲库（可以看作是计算机的cache），这个缓冲库（当前帧与前两帧），对于新加入的点（可能是异常点也有可能就是行人）进行区分
3. 其中如果在三帧中出现次数小于阈值的，丢弃；对于大于额定阈值的，下一帧继续观察，如果仍在，则纳入正常点。

雷达与相机坐标系联合标定

fig4.配准

 此时雷达点和像素点仅进行平面上的配准，也就是说，不管它的z值，我只需要用雷达点确定平面位置，因此可以求出T，也就是相机与雷达点的变换矩阵。

生成ROI

fig5.ROI生成

 提出一种自适应的目标ROI调节方法：可以通过雷达点测算的距离动态调整ROI的大小，既避免大型物体在近处看不全，又避免小型物体远处看不到。一般这种方法中，ROI要设置的足够大，因为即使检测窗口选大了可以后面步骤继续检测，一个极端例子就是对整个图像进行检测。

基于ROI的目标检测

fig6.对象检测与分类

 1. 通过上述步骤，可以在图像上获得初始目标物体的大概范围，需要进一步知道物体在ROI的哪个地方，因此需要对ROI进行不同尺度的滑动窗口检测，但是，如果这样做，需要的时间复杂度在n²左右（对n个ROI，对每个ROI检测n次）。

 2. 为了避免这个问题，我们使用训练的BING特征提取器，这是一个可以对特定的物体进行识别的特征转换器，通过用人的数据集对BING进行训练，利用训练出的滤波器对ROI的图像操作，得到上图的热图，其中红色的部分为重点区域。

 3.经过上述步骤，得到了重点区域，下面对重点区域进行hog特征提取并通过SVM进行分类。

评价

fig7.初始生成的行人ROI

fig8.最后的行人检测效果

1. 作者对传统方案进行了改进，引进了很多新的方法，提高了检测速度，精度以及检测范围。
2. 但是在最后的分类器中，分类器采用SVM进一步限制了模型的行人检测率。
3. 可以看到，经过作者的方法，初始状态和最后的检测效果差异很大，误判率降低，锚框的大小都非常的契合行人。