DeepRoute Lab | DRINet 面向更加高效的点云分割

AUTHOR-元戎感知组

时隔半年码字，来介绍一下今年被ICCV2021收录的一篇点云分割的工作DRINet: A Dual-Representation Iterative Learning Network for Point Cloud Segmentation 这里同时要感谢一些我的co-author帮助。

Introduction and Motivation

其实idea的成形在第一篇3D目标检测之后就已经存在了，整个文章的思路跟当时的PVCNN挺相似，核心就是要利用不同的表征方式来弥补点云单一表征能力的不足。但是当时看到的PVCNN不足的点在于两个方面，1). 3D卷积太耗时，2). Pointwise的branch并没有太多的 3). 特征的传播过程中，devoxelization的时候的三线性插值带来了太多Memory access cost，这样导致了，虽然PVCNN理论计算量很低，但是实际在inference过程中很多内存寻址的代价并没有被考虑进去，这导致了PVCNN在室外场景下面其实并没有太多的优势，尤其是当点云的规模到10W这个量级。
后来SPVNas通过稀疏卷积加速解决了第一个问题，同时利用nas的方式寻找最优的网络结构，不过spvnas在后面几个点的改进其实并不多，导致了其实performance跟efficiency上面还是没有达到最优的状态。

Method

通过这几个观察，我们提出了DRINET。整体来说DRINet是一个非常高效并且performance上达到当时SOTA水平的一个点云分割的框架。包含了以下的几个方面：1) Geometry-aware Feature Extraction 2) Sparse Voxel-Point Feature Extraction(SVPFE) 3) Sparse Point-Voxel Feature Extraction (SPVFE) and 4) Iterative Dual-Representation Learning. 总体框架下图所示

1) Geometry-aware Feature Extraction

跟PVCNN还有SPVNas不同，我们还是非常关注原始点云的特征的多尺度的提取，通过对不同尺度下统计量的结合，我们的GAFE可以更加有效的反馈点云的原始特征，保留更好的点云几何特性，比如mean，variance，gridmean等，我们的实验也反应了这一点，单单通过GAFE我们的DRINet就能超过PointNet在semanticKitti上的表现。

2）SPVFE

为了更加好的利用点级别的多尺度信息，相比于其他的工作，我们在Pointwise上面做了不小的工作，对于PointLevel的branch，我们利用scatter/gather等操作，实现了高效的多尺度的pooling层操作用以得到hierarchical features。相比PointNet++我们的操作不需要任何的KNN的操作因此不需要建立KDTree，因此我们的操作更加高效。接着利用同样的操作，我们可以将pointwise的特征mapping到一个targe scale的voxelwise feature。

3) SVPFE

在得到了voxelwise features之后，我们利用了SPConv进行了context information的提取，SPConv可以快速扩大感受野的同时维持一个较低的内存的代价。另一点为了将voxelwise features重新mapping到pointwise的feature，我们引入了Attentive Gathering Strategy的操作相比于bilinear gathering操作，我们的操作在memory access cost更低，可以减少到1/8，因为我们的attentive gathering操作仅仅只需要一次nearest gathering。