【3D目标检测】Fastpillars-2023论文

论文：fastpillars.pdf https://arxiv.org/abs/2302.02367

作者：东南大学，美团

代码：https://github.com/StiphyJay/FastPillars （暂未开源）

讲解：https://mp.weixin.qq.com/s/ocNH2QBoD2AeK-rLFK6wEQ

PointPillars简单地利用max-pooling操作来聚合所有在支柱中使用点特征，这会大量减少本地细粒度信息，尤其会降低性能对于小物体。基于特征金字塔网络(FPN [22])， PointPillars直接融合多尺度特征跨距为1×、2×、4×，但各层之间缺乏足够的特征交互作用。

Fastpillars提出了一种简单但有效的Max-and-Attention pillar encoding（MAPE）模块。MAPE几乎无需额外的耗时（仅4ms）就能提高每个pillar特征的表示能力，能够提升小目标的检测精度；设计了一个紧凑的全卷积主干网络CRVNet，它具有竞争性的特征学习能力和推理速度，而不需要稀疏卷积。

模块介绍

Pillar encoder: 我们提出一个简单的但是有效的最大和注意力柱编码(MAPE)模块，自动学习局部几何模式几乎没有额外的延迟(4毫秒)。MAPE模块将重要的局部特征整合在每个支柱中，大大提高了小物体的准确性。

feature extraction：为增强模型的表示能力，减少计算量为了降低机载部署的延迟，我们设计了一种紧凑高效的骨干网，称为CRVNet(跨阶段-父系repvgg风格网络)。我们画我们从CSP (cross-stage-Patrial)结构和重新参数化的RepVGG网络中得到启发，并提出一个紧凑的网络，同时保持强大的特征提取能力.

特征融合块，通过分层融合不同层次和接受域的特征来丰富语义特征

回归模块，我们采用了一种高效的基于中心的头向分别对目标的分数、维度、位置、旋转和盒交比联合(IOU)信息进行回归。添加了一个IoU分支来预测预测框和地面真实框之间的3D IoU。

训练参数

1. 优化器：one-cycel

2. Learning rete: 0.0001 40%个epch开始衰减

3. 激活函数：leaky relu

4. 检测范围：[-54,-54,-5,54,54,3]

5. Voxel size: [0.15, 0.15, 1]

数据增强

1. Flip: 随即沿X、Y轴翻转

2. 旋转：随即绕Z旋转，[- 45, 45]

3. 平移translated：[-0.5m,0.5m] (沿哪个维度？？？)

4. 缩放：全局缩放[0.95,1.05]

5. copy-paste

代码复现

#MAPE模块
#====================by:liangyanyu=========================
if self.mape:
    x_mape_max = self.maxpooling(x.permute(0, 2, 1))
    x_mape_max = x_mape_max.permute(0,2,1)
    x_attention = self.attention(x)
    x_attention = torch.sum((x * x_attention) / torch.clamp(torch.sum(x_attention, dim=1, keepdim=True), min=1e-6), dim=1,keepdim=True) # [2,20,64] / [2,1, 64]==>[2,20,64] ==> [2,1,64]
    x_out = (x_mape_max + x_attention) / 2
    if self.last_vfe:
        return x_out
    else:
        x_repeat = x_out.repeat(1, 20, 1)
        x_concatenated = torch.cat([x, x_repeat],dim=2)
        return x_concatenated
#=========================================================