每天一篇论文PointTrackNet: An End-to-End Network for 3-D Object Detection and Tracking from Point Clouds

PointTrackNet: An End-to-End Network for 3-D

摘要

摘要近年来，基于深度学习的多目标跟踪（MOT）框架在三维点云中得到了广泛的应用。大多数传统的跟踪方法使用滤波器（如Kalman滤波器或粒子滤波器）来预测时间序列中的目标位置，但是它们容易受到极端运动条件的影响，如突然刹车和转弯。在本文中，我们提出了一个端到端的三维目标检测和跟踪网络PointTrackNet，来为每个检测到的目标生成前景遮罩、三维包围盒和逐点跟踪关联位移。网络只需输入两个相邻的点云帧。在KITTI跟踪数据集上的实验结果表明，在不规则和快速变化的场景中，KITTI跟踪数据集的结果比状态更具竞争力。

贡献

1.提出了一种端到端的三维目标检测与跟踪网络，该网络以两个相邻的原始点云作为输入，输出预测的边界盒和点关联位移。
2.在我们的网络中，我们提出了一种新的数据关联模块，用于合并两帧的点特征，并关联同一对象的相应特征。
3.我们从逐点数据关联生成预测的边界框。预测出的边界框可以细化检测结果。

方法

本文提出的网络仅以两个相邻的原始无序点云作为输入，输出目标边界盒和每个目标的轨迹。检测和数据关联是跟踪方法的两个主要组成部分。本文设计了一种基于点的数据关联方法来减少退化目标检测可能带来的影响。图2示出了网络架构的概述。网络可分为四个模块：点特征提取模块（三维目标检测模块）、数据关联模块、细化模块和轨迹生成器模块.

点特征提取

以N×3点云为输入，目标检测器生成N×2掩模和M包围盒，其中N表示点的个数，掩模是区分前景和背景的二进制0-1分类标签。从backbone网中提取点云特征。利用PointNet[18]和PointNet++[9]来学习点功能。backbone在直观的欧氏空间中处理点云。以无序点云为输入，学习克服非均匀性，结合多尺度邻域特征，生成高效、鲁棒的特征。
本文提出了一个具有四个（SA）模块的检测器来对点云进行降采样，四个特征传播（FP）模块来从较少的点向更多的点进行升采样，以及两个完全连接的层来最终输出遮罩和包围盒结果。SA模块将较低级别的点向下采样到较高级别的点n，而Set-Upconv层将它们反向传播。在SA模块中应用了具有最远点采样（FPS 的相同比例尺分组（SSG）和多比例尺分组（MSG），其中每个层的点是上层点的子集。FP模块中的分组层通过在高层点中寻找最近的点来构造局部区域集，这意味着增加特征传播中的点数。本文将探测器的输出形状设置为N×（2+3+2×NH+4×N s+NC）。前2+3表示包围盒的概率和中心，2×NH表示有标题盒残差的类数，4×NS表示有大小残差（包围盒长、宽、高）的类数，NC表示其语义类。

关联模块

使用掩模概率信息来保持前N个前景点，它提供了比大多数背景点更有用的局部几何特征。对于保留的N 0分，在采样层中使用FPS，与传统方法相同。图3示出了在原始原始点云中使用的FPS与过滤的点云的比较结果。我们发现，在大范围的环境中，经过4次FPS采样后，特别是在远处的车辆中，会发现属于前景的点很少，但是我们的方法可以在整个过程中保留更多的前景点。将两个SA层连接起来，对过滤后的点云进行下采样。

跟踪模块

我们使用预测的逐点关联跟踪位移来预测最后一帧中对象边界框的运动。算法1描述了跟踪管理中的完整伪码。

L0SS

结果