用于毫米波雷达的GNN:Radar-PointGNN

用于毫米波雷达的GNN:Radar-PointGNN_第1张图片

  • 文章提出了一种基于GNN与毫米波数据的3D目标检测方法,算法流程如上图所示,符合基本的GNN流程

论文地址:https://ieeexplore.ieee.org/document/9455172
关于GNN的一些基本文章,可以参看以下链接:

  1. 从CNN到GNN:https://zhuanlan.zhihu.com/p/463666907
  2. GNN入门代码案例:基于分子结构预测物质可溶性https://zhuanlan.zhihu.com/p/504978470

论文摘要

在传统的Lidar检测领域,检测方法的范式已经趋向成熟,如今的GNN兴起打开了一扇新的大门,对于毫米波数据,由于其局部的关联性强,带有明确的空间位置关系,并且数据稀疏,作者提出了一种基于GNN的毫米波雷达检测方法。
主要的创新点就是:

  1. 首次实现了GNN在Radar上的实现
  2. 在nuscenes的radar detection task榜单实现sota结果

实现细节

用于毫米波雷达的GNN:Radar-PointGNN_第2张图片
如上图所示,作者将模型分为三个阶段,分别是:雷达原始特征到高维向量(non-contexual embeddings)的映射,图生成(generate contexual-embeddings),预测(decoder),下面分别介绍:

预处理阶段,完成原始特征映射

  1. 基本定义

用于毫米波雷达的GNN:Radar-PointGNN_第3张图片
其中,引入T=(0,1…N)帧的雷达信息增加点云密度, σ i \sigma_i σi为雷达点云的RCS(可以认为点云投射目标的反射强度), u i u_i ui代表点云在统一坐标系的坐标(x,y),deg( v i v_i vi)代表点云所连接的边数量(两点距离小于r则认为两点相连,论文中r=1m,如下图所示)。
在这里插入图片描述
2. 特征映射
用于毫米波雷达的GNN:Radar-PointGNN_第4张图片
构成:MLP (4, 32, 64, 128, 512)

生成(generate contexual-embeddings)

用于毫米波雷达的GNN:Radar-PointGNN_第5张图片

  • 首先, 边的特征通过计算其所连接的两个点和上次的embedding m j m_j mj
  • 其次,节点的特征依次通过:
    • 聚合所有连接的边(max-pool)的特征
    • 结合上次embedding的节点特征
    • 送入映射函数和激活函数
    • 引入残差连接,生成最后的i节点的embedding向量(contexual-embeddings)

至此,节点和边的更新方式已经定义

预测(decoder)

预测内容

用于毫米波雷达的GNN:Radar-PointGNN_第6张图片
其中, h c l a s s h_class hclass代表当前预测类别已经预先定义好的值 H e i g h t / 2 Height/2 Height/2,也就是每类的预定义高度, σ h \sigma_h σh为预测的偏移值,同理,对于 x ^ \hat{x} x^,是每个点的真实值加上月的偏移值。

损失定义

用于毫米波雷达的GNN:Radar-PointGNN_第7张图片

  • 类别损失把点云作为base unit进行损失计算

  • 回归把预测结果作为损失base unit计算

后处理

由于雷达数据稀疏,其预测结果也较为稀疏,但是很多物体上点云投影较多会造成重复预测,因此作者将 T n m s T_nms Tnms设置为0.1,避免重复预测,下面是后处理流程

用于毫米波雷达的GNN:Radar-PointGNN_第8张图片

结果

用于毫米波雷达的GNN:Radar-PointGNN_第9张图片
用于毫米波雷达的GNN:Radar-PointGNN_第10张图片

你可能感兴趣的:(毫米波雷达,论文,人工智能,深度学习,计算机视觉,目标检测)