CVPR2022——Not All Points Are Equal : IA-SSD

IA-SSD

  • Not All Points Are Equal:IA-SSD
    • Motivation
    • Contribution
    • Keyknowledge
      • Instance-aware Downsampling Strategy
      • Contextual Instance Centroid Perception
    • Loss
    • Experiment
      • 采样方法在KITII验证集上的对比
      • 不同的方法在KITTI测试集上的检测性能定量对比

Not All Points Are Equal:IA-SSD

CVPR2022——Not All Points Are Equal : IA-SSD_第1张图片
写在前面:与最近读的RandLa-Net的切入点类似:downsampling的方法。

Motivation

目前的Point-Based的方法都使用"task-agnostic"(与检测本身无关)的采样方法:Random、D-FPS、Feat-FPS。对于这些采样方法都忽略了:“对于检测任务来说,前景点比背景点更重要”。

Contribution

  1. 本文提出了两个"learnable, task-oriented, instance-aware"采样方法(与检测任务相关的可以感知实例的学习方法)。
  2. 基于采样方法提出了一个高效的模型IA-SSD。
  3. 在KITTI、Waymo、ONCE数据集上进行了大量实验。

Keyknowledge

Instance-aware Downsampling Strategy

  1. Class-aware Sampling
    训练分支学习点语义信息*,预测每一个点的前景点概率分数,取前k大的作为采样点送入下一层。
    损失函数使用普通的交叉熵:
    在这里插入图片描述
    与Feature-FPS的区别:本文想要尽可能多的前景点,而F-FPS想要的是特征差距尽可能大的点。
  2. Centroid-aware Sampling
    在Class-aware Sampling的基础上引入中心掩码mask:
    在这里插入图片描述
    mask与3DSSD中的中心度相同:
    CVPR2022——Not All Points Are Equal : IA-SSD_第2张图片
    利用中心掩码对交叉熵loss进行加权,来提高接近中心点被采样的可能,尽可能地保留中心点(考虑到实例中心估计是最终目标检测的关键):
    在这里插入图片描述

Contextual Instance Centroid Perception

  1. Contextual Centroid Prediction
    遵循VoteNet的方法预测一个与中心的偏移,同时加入了一项正则化,使得每一个实例的中心预测都被聚合,减少预测中心偏移的不稳定性:
    CVPR2022——Not All Points Are Equal : IA-SSD_第3张图片
    与VoteNet仅利用BBox内的点预测中心点不同,本文也利用周围的代表点:手动扩展BBox,或者按比例放大该框,以覆盖物体附近更多相关的上下文信息。
  2. Centroid-based Instance Aggregation
    对每一个中心点,使用PointNet++学习实例的特征:将相邻点转化为局部正则坐标系,然后通过shared mlp和对称函数对点特征进行聚合。
  3. Proposal Generation Head
    根据聚合的实例特征进行BBox的预测,然后进行3D-NMS后处理。

Loss

将多个loss相加联合优化,实现端到端训练。
在这里插入图片描述
在这里插入图片描述

Experiment

采样方法在KITII验证集上的对比

在这里插入图片描述
在采样点数少的情况下(256points)文章提出的两个采样对实例的采样比例明显由于其他采样方法。同时Feature-FPS考虑到了每个点的特征,因此对实例的采样比例也是高于random与D-FPS。

不同的方法在KITTI测试集上的检测性能定量对比

CVPR2022——Not All Points Are Equal : IA-SSD_第4张图片
IA-SSD在Car、Cyc两个实例上效果较好,在Point-based的方法中精度较高,但是低于PV_RCNN,并且在Ped实例上效果较差。同时检测速度高于其他所有方法。

你可能感兴趣的:(目标检测经典论文学习,计算机视觉,机器学习,深度学习)