RODNet

1.介绍

 这篇论文发布于2021年IEEE trans,从视觉提取语义信息鲁班性不足，在能见度降低或者遮挡的情况下；使用激光雷达提取语义信息需要的计算成本过高，因此采用视觉与毫米波雷达做融合。
 FMCW 雷达有两种数据表示，即射频图像和雷达点,射频图像可以保持丰富的多普勒和物体运动信息，从而具有理解某个物体语义的能力。

 提出了一种雷达目标检测方法，该方法在训练阶段由摄像机-雷达融合算法交叉监督,可以完全基于雷达信号准确地检测目标。学生的管道包括一个雷达目标检测网络（RODNet），该网络仅将射频图像序列作为输入，并估计目标置信图ConfMaps，从ConfMaps中，可以通过基于位置的非最大抑制（L-NMS）进一步推断雷达距离-方位坐标中的目标类别和位置。
 学生管道中的RODNet由教师管道系统标记的注释进行训练，而无需费力且不可靠的人工标记工作
 RODNet的网络架构，实现了一个基于沙漏（HG）架构的3D卷积神经网络（3D CNN），该结构具有跳跃连接，用于从射频图像中提取特征。设计了几个定制模块，以利用射频图像序列的特殊特性。首先，考虑每个雷达帧中包含详细目标特征的chirp信息。因此，提出了一种chirp合并模块（M-Net）来将chirp(线性调频信号)级特征合并到帧级特征中。其次，由于雷达与目标之间的相对运动导致雷达反射模式随时间变化，经典的三维卷积无法有效提取时间特征。因此，一种新的卷积运算，被称为时间可变形卷积（TDC），用于处理射频图像序列中特征的时间演化。

主要贡献

• 引入定制模块，即M-Net和时间可变形卷积（TDC），以有效利用射频图像的特殊特性
• 摄像机-雷达融合（CRF）监控框架，用于训练RODNet，利用基于单目摄像机的目标检测和3D定位方法，并通过统计检测推断雷达射频图像

复现评估

 目前对于该网络的复现存在一定的顾虑

 - 网络发布时间比较久
 - 作者在pytorch1.4测试过TDC，对于更高环境未知
 - 未能提供预训练模型

可以借鉴学习之处：

 - 提出的定制模块
 - 毫米波雷达预处理算法