PointPillars
一个来自工业界的模型.https://arxiv.org/abs/1812.05784
3D目标检测通常做法
- 3d卷积
- 投影到前平面
- 在bird-view上操作
处理思路依然是3d转2d,先把3维的点云转成2d的伪图像.
Feature Net
把点云数据处理成类似图像的数据.
pillar即柱子.点云的特性决定了每个柱子内的点是很稀少的.
一堆点,我们将其视为一个个柱子(即pillar),每个pillar内有很多points．所有的pillar内的point即组成了点云.
首先在x-y平面上投影出来一个h x w的网格.即划出h x w个pillar出来.
原始的点云数据point有(x,y,z,r)4个维度,r代表反射率.我们将其扩展为9个维度(x,y,z,r,x_c,y_c,z_c,x_p,y_p,带c下标的是点相对于柱子中心的偏差，带p下标的是对点相对于网格中心的偏差。每个柱子中点多于N的进行采样，少于N的进行填充0。于是就形成了（D,P,N）D=9, N为每个pillar的采样点数（设定值),P为pillar总数目,H*W。
这样点云数据就表达成了一个(D,P,N)的Tensor.
然后卷积,得到一个(C,P,N)的Tensor.在Ｎ这个维度上做max operation．得到(C,P)的tensor．变形得到(C,H,W)tensor．
至此,我们就用一个(C,H,W)的tensor完成了点云数据的表达.
Backbone
backbone完成特征提取.
分为２部分
- top-down network产生空间分辨率逐步降低的feature map
- second network做upsample和concatenation,精细化feature．
top-down部分可以描述为一系列的block(S,L,F) S代表相对pseudo-image(即feature net得到的tensor)的stride． 一个block有Ｌ个3x3的2D卷积层. Ｆ代表输出的channel数目.
backbone输出的tensor为(6C,H/2,W/2)
Detection
用的ssd．高度ｚ是单独回归的．
实验细节
点云转图像部分的Ｃ=64．backbone部分,车/人/自行车的Ｓ不一样.
loss设计
3d box由(x,y,z,w,l,h,theta)确定. 类似于2d box由(x,y,w,h)确定,3d box多了一个z方向的数据,以及一个角度,用以预计3d box的朝向(绕z轴的角度).
loss由３部分组成
- 定位loss,衡量3d box画的准不准
- 分类loss,衡量box内的物体类别判断准不准
- direction loss．定位loss虽说已经考虑了角度,但是不能区分flipped box．即比如一个3d box内的车,朝着正南和朝着正北走,标出来的3d box都是一样的.
定位loss：
分类loss：
focal loss通过对不同样本的loss赋予不同的权重,该权重是一个与当前样本预测概率相关的值.
系数为(1-p)的变种.从而达到p越小,loss权重越大的目的. 即放大hard example的loss．从而使得模型更好地适应难以分类的样本.
方向loss:
由softmax得到.
代码解析
todo
代码:https://github.com/traveller59/second.pytorch
python ./pytorch/train.py evaluate --config_path=./configs/car.fhd.config --model_dir=/path/to/model_dir --measure_time=True --batch_size=1