【论文阅读】3D Object Detection for Multi-frame 4D Automotive Millimeter-wave Radar Point Cloud

原文链接：https://ieeexplore.ieee.org/abstract/document/9944629

I. 引言

  本文的框架分为三部分：使用雷达估计自车速度，对雷达点云的相对速度信息进行补偿得到绝对速度信息；将多帧雷达点云与最后一帧匹配；使用检测网络进行目标检测。
  本文的模型分为三个模块：伪图像编码器（将多帧雷达点云编码为含有时空信息的统一张量）、主干提取器和检测头（学习提取目标的时空信息并进行多尺度融合）。

IV. 方法

  流程图如下所示：

目标检测网络

点云预处理

检测头

主干网络

点云转换为伪图像

自运动补偿

速度补偿

多帧雷达点云

3D检测结果

A. 点云预处理

  雷达的直接输出是相对径向速度，首先需要补偿为绝对径向速度；由于自车运动，多帧点云的世界坐标系是不同的，需要使用平移和旋转变换进行多帧匹配。

(1) 雷达点云速度补偿

  自车在雷达位置处的速度估计方法有很多，如：(a) 使用高精度定位信息获取自车的质心速度和角速度，然后使用雷达相对自车质心的外参矩阵获取雷达速度；(b) 使用雷达点云信息获得雷达速度。本文使用方法(b)。

  4D雷达测得的相对径向速度$v_d^r$可表达为点的单位方向向量$\text{r}$和目标速度${\text{v}}_d$的点积（2D情况如上图所示，容易扩展到3D情况）：$$v_d^r=v_d\cos \theta ={\text{v}}_d\cdot \text{r}=v_{d,x}\frac{x}{R}+v_{d,y}\frac{y}{R}+v_{d,z}\frac{z}{R}\text{\hspace{1em}(1)}$$其中$R$为目标的径向距离。
  对于来自静止物体（有相同的相对速度，即${\text{v}}_d=-{\text{v}}_c$）的、含$N$个点的点云，可以写成如下矩阵形式：
$$\left[\begin{array}{c}{v}_{d,1}^r\\ v_{d,2}^r\\ ⋮\\ v_{d,N}^r\end{array}\right]=\left[\begin{array}{ccc}\frac{x_1}{R_1}& \frac{y_1}{R_1}& \frac{z_1}{R_1}\\ \frac{x_2}{R_2}& \frac{y_2}{R_2}& \frac{z_2}{R_2}\\ ⋮& ⋮& ⋮\\ \frac{x_N}{R_N}& \frac{y_N}{R_N}& \frac{z_N}{R_N}\end{array}\right]\left[\begin{array}{c}{v}_{d,x}\\ v_{d,y}\\ v_{d,z}\end{array}\right]$$记为$v_d^r=H{v}_d$，可用线性最小二乘法进行求解：
$${\hat{v}}_d=(H^{T}H{)}^{-1}{H}^T{v}_d^r$$从上式可得雷达速度${\text{v}}_c$的估计（${\hat{\text{v}}}_c=-{\hat{\text{v}}}_d$）。
  由于实际会含有来自运动物体的点，会产生有偏的速度分布而导致误差，因此本文使用随机采样一致性（RANSAC）方法进行求解，以平滑含有噪声的数据。得到雷达速度后，可按$(1)$式进行雷达径向速度${\text{v}}_c^r$的计算，从而求出绝对径向速度：$${\text{v}}_a^r={\text{v}}_d^r-{\hat{\text{v}}}_c^r$$

(2) 雷达点云自运动补偿

  通过多帧点云匹配，减小自车运动对多帧检测的影响。
  设第$n$帧点集为$P_n=\{p_n^1,p_n^2,\cdots ,p_n^m\}$，其中$p_n^k=[x_n^k,y_n^k,z_n^k]$。经过速度补偿后，可通过对绝对速度进行阈值过滤得到静态点集$Q_n=\{q_n^1,q_n^2,\cdots ,q_n^l\}$。
  多帧点云匹配就是确定旋转矩阵$R$和平移矩阵$t$使得$$\forall i,q_n^i=R_{n-1}{q}_{n-1}^i+t_{n-1}\text{\hspace{1em}(2)}$$可通过迭代最近点算法获得，该算法基于最小二乘方法迭代计算，使得误差平方和最小：$$\underset{R,t}{\mathrm{argmin}}\sum _{i=1}^l{\Vert (R_{n-1}{q}_{n-1}^i+t_{n-1})-q_n^i\Vert }^2$$将点云用式$(2)$表示，并写为矩阵形式：
$$H=[R,t],Y_{n-1}^n=H_{n-1}{P}_{n-1}$$其中$Y_{n-1}^n$表示第$(n-1)$帧对齐到第$n$帧后的点云。第$n$帧及其对齐后的前$m$帧点云或作为网络输入。
  注意每次仅会计算相邻帧之间的$H$矩阵，并按$Y_{n-m}^n=H_{n-1}{Y}_{n-m}^{n-1}$将第$(n-m)$帧点云对齐到第$n$帧。

B.目标检测网络

(1) 点云到伪图像的转换

  由于雷达点云的稀疏性和噪声，使用基于点的方法提取特征具有挑战性，因此本文选择基于网格的方法。
  首先，将点云范围限制在$R_x\times R_y\times R_z$的范围内，然后将点云柱体化并使用主体内各点特征的均值（下式下标$c$）和点到柱体中心的偏移量（下式下标$p$）作为点的额外特征，即增强后的点为$$p=[x,y,z,v,I,x_c,y_c,z_c,v_c,I_c,x_p,y_p,z_p]$$  将每帧点云通过柱体化后，可得到大小为$(D,P,N)$的张量，其中$D=13$为特征维度，$P$为非空柱体数，$N$为每个柱体内的（预定义的最大）点数。通过线性层+BN+ReLU改变特征维度后，在最后一维使用最大池化得到$(C,P)$大小的张量（该操作可以看作在每个柱体内使用PointNet）。最后将这些非空体素按照其所属位置和帧数“分散”，得到大小为$(C,T,H,W)$的伪图像。

(2) 主干网络

  主干网络分为两个子网络，分别进行空间下采样和反卷积空间上采样，最后拼接多尺度特征。

(3) 检测头

  使用类似PointPillars和SECOND的单阶段检测头。真实边界框（用上标$gt$表示）和锚框（用上标$a$表示）均由$(x,y,z,w,l,h,\theta )$定义。二者的残差定义如下：
$$\Delta x=\frac{x^{gt}-x^a}{d^a},\Delta y=\frac{y^{gt}-y^a}{d^a},\Delta z=\frac{z^{gt}-z^a}{h^a},\Delta w=\log \frac{w^{gt}}{w^a},\Delta l=\log \frac{l^{gt}}{l^a},\Delta h=\log \frac{h^{gt}}{h^a},\Delta \theta ={\theta }^{gt}-{\theta }^a$$其中$d=\sqrt{(w^a{)}^2+(l^a{)}^2}$。
  角度损失：$L_{\theta }=\text{SmoothL1}(\sin ({\theta }_p-\Delta \theta ))$；
  总的回归损失：$$L_{loc}=\sum _{b\in (x,y,z,w,l,h)}\text{SmoothL1}(b_p-\Delta b)+L_{\theta }$$其中$\text{SmoothL1}(x)=\{\begin{array}{cc}0.5x^2& \text{if}|x|<1\\ |x|-0.5& 否则\end{array}$。
  由于角度损失不能区分翻转边界框，因此额外加入方向损失$L_{dir}$。
  目标分类损失：$L_{cls}=-{\alpha }_a(1-p^a{)}^{\gamma }\log p^a$，其中$p^a$为锚框的类别概率。
  综合损失为$$L=\frac{1}{N_{pos}}({\beta }_{loc}{L}_{loc}+{\beta }_{cls}{L}_{cls}+{\beta }_{dir}{L}_{dir})$$其中$N_{pos}$为正锚框的数量。

C. 实施细节

(1) 数据增广

  使用全局随机翻转、旋转和缩放。

(2) 网络设置

  ST块的结构如下所示（其中第一层卷积步长为2；每个卷积后紧跟BN+ReLU）：

L层

1x3x3卷积

1x3x3卷积

输入

1x3x3卷积

平均

3x3x3卷积

输出

V. 实验

  本文方法与其余基于激光雷达点云的方法（使用雷达点云输入）进行了比较。实验结果表明本文的方法能达到总体最好的性能。

VI. 消融研究

  本文对不同结构（不同卷积核）的ST块、不同主干网络（细节）、帧数、体素大小和自运动补偿进行了消融研究。