三维目标检测论文阅读:PointPillars: Fast Encoders for Object Detection from Point Clouds

 

PointPillars: Fast Encoders for Object Detection from Point Clouds

code ID: https://github.com/nutonomy/second.pytorch

目录

 

PointPillars: Fast Encoders for Object Detection from Point Clouds

概要

本文方法

实验结果


概要

在计算机视觉中,虽然深度学习表现出优越的性能,但是雷达数据并不能直接使用图像的卷积操作,它和图像有关键性差异:

  1. the point cloud is a sparse representation, while an image isdense
  2. the point cloud is 3D, while the image is 2D.

现有方法有三种:1 3D卷积;2, 投影到图像平面(前)3 在鸟瞰图上操作;(这三种方法在几乎没有遮挡和模棱两可的情况下有效)。鸟瞰图比较稀疏,直接使用卷积网络效率低。效果差;体素方法应运而生,但是太慢(4HZ);

设计一个j仅仅使用二维卷积就能实现端到端的3D点云学习,是一个适合于点云的编码器;学习点云的柱子(垂直列)上的特性,从而为对象预测面向3D的框。速读比较快,精读较高;

本文方法

三维目标检测论文阅读:PointPillars: Fast Encoders for Object Detection from Point Clouds_第1张图片

三个阶段:

  • (1) A feature encoder network that converts a point cloud to a sparse pseudo-image;
  • (2) A 2D convolutional backbone to process the pseudo-image into high-level representation;
  • (3) A detection head that detects and regresses 3D boxes.

(1)生成伪图像

首先在俯视图的平面上打网格(H x W)的维度;然后对于每个网格所对应的柱子中的每一个点都取(x,y,z,r,x_c,y_c,z_c,x_p,y_p)9个维度。其中前三个为每个点的真实位置坐标,r为反射率,带c下标的是点相对于柱子中心的偏差,带p下标的是对点相对于网格中心的偏差。每个柱子中点多于N的进行采样,少于N的进行填充0。于是就形成了(D,N,P)D=9, N为点数(设定值),P为H*W。

然后学习特征,用一个简化的PointNet从D维中学出C个channel来,变为(C,N,P)然后对N进行最大化操作变为(C,P)又因为P是H*W的,我们再展开成一个伪图像形式,H,W为宽高,C为通道数。

(2)基础网络

三维目标检测论文阅读:PointPillars: Fast Encoders for Object Detection from Point Clouds_第2张图片

包含两个子网络(1、top-down网络,2、second网络)top-down网络结构为了捕获不同尺度下的特征信息,主要是由卷积层、归一化、非线性层构成的,second网络用于将不同尺度特征信息融合,主要有反卷积来实现。具体细节如下:

三维目标检测论文阅读:PointPillars: Fast Encoders for Object Detection from Point Clouds_第3张图片

 

(3)检测头和损失函数

检测头:SSD的检测头,目标高度和z 单独回归。

损失函数:

分类:focal loss

回归损失:其中,三维目标检测论文阅读:PointPillars: Fast Encoders for Object Detection from Point Clouds_第4张图片

上标gt表示真实标签,a表示anchor预测。

是引入的航向角loss,使用的是一个将航向角进行softmax分类准确度来定义。

(4)数据增广

数据增广也是本文性能提升的一个重要因素,

1)受SECOND方法启发,创建一个所有类别的3D 点云BOX查询表,对于每一个类别,随机选取一些样本box,把这些样本box放到当前点云中去(相当于统一位置的相同类别的样本不同个体之间相互换位置),然后每个box再进行旋转和平移变换。

2)全局扩展,沿着X轴镜像翻转、旋转、尺度变换、全局平移。

实验结果

三维目标检测论文阅读:PointPillars: Fast Encoders for Object Detection from Point Clouds_第5张图片

需要指出的是:车和 行人自行车 使用不同的模型;

三维目标检测论文阅读:PointPillars: Fast Encoders for Object Detection from Point Clouds_第6张图片

三维目标检测论文阅读:PointPillars: Fast Encoders for Object Detection from Point Clouds_第7张图片

你可能感兴趣的:(点云论文阅读)