DeepRoute Lab | DRINet 面向更加高效的点云分割

AUTHOR-元戎感知组

时隔半年码字，来介绍一下今年被ICCV2021收录的一篇点云分割的工作DRINet: A Dual-Representation Iterative Learning Network for Point Cloud Segmentation 这里同时要感谢一些我的co-author帮助。

Introduction and Motivation

 
其实idea的成形在第一篇3D目标检测之后就已经存在了，整个文章的思路跟当时的PVCNN挺相似，核心就是要利用不同的表征方式来弥补点云单一表征能力的不足。但是当时看到的PVCNN不足的点在于两个方面，1). 3D卷积太耗时，2). Pointwise的branch并没有太多的 3). 特征的传播过程中，devoxelization的时候的三线性插值带来了太多Memory access cost，这样导致了，虽然PVCNN理论计算量很低，但是实际在inference过程中很多内存寻址的代价并没有被考虑进去，这导致了PVCNN在室外场景下面其实并没有太多的优势，尤其是当点云的规模到10W这个量级。
后来SPVNas通过稀疏卷积加速解决了第一个问题，同时利用nas的方式寻找最优的网络结构，不过spvnas在后面几个点的改进其实并不多，导致了其实performance跟efficiency上面还是没有达到最优的状态。
 

Method

 
通过这几个观察，我们提出了DRINET。整体来说DRINet是一个非常高效并且performance上达到当时SOTA水平的一个点云分割的框架。包含了以下的几个方面：1) Geometry-aware Feature Extraction 2) Sparse Voxel-Point Feature Extraction(SVPFE) 3) Sparse Point-Voxel Feature Extraction (SPVFE) and 4) Iterative Dual-Representation Learning. 总体框架下图所示

 
1) Geometry-aware Feature Extraction

跟PVCNN还有SPVNas不同，我们还是非常关注原始点云的特征的多尺度的提取，通过对不同尺度下统计量的结合，我们的GAFE可以更加有效的反馈点云的原始特征，保留更好的点云几何特性，比如mean，variance，gridmean等，我们的实验也反应了这一点，单单通过GAFE我们的DRINet就能超过PointNet在semanticKitti上的表现。

2）SPVFE

为了更加好的利用点级别的多尺度信息，相比于其他的工作，我们在Pointwise上面做了不小的工作，对于PointLevel的branch，我们利用scatter/gather等操作，实现了高效的多尺度的pooling层操作用以得到hierarchical features。 相比PointNet++我们的操作不需要任何的KNN的操作因此不需要建立KDTree，因此我们的操作更加高效。接着利用同样的操作，我们可以将pointwise的特征mapping到一个targe scale的voxelwise feature。

3) SVPFE

在得到了voxelwise features之后，我们利用了SPConv进行了context information的提取，SPConv可以快速扩大感受野的同时维持一个较低的内存的代价。 另一点为了将voxelwise features重新mapping到pointwise的feature，我们引入了Attentive Gathering Strategy的操作相比于bilinear gathering操作，我们的操作在memory access cost更低，可以减少到1/8，因为我们的attentive gathering操作仅仅只需要一次nearest gathering。

4）Iterative Dual-Representation Learning

当我们有voxelwise跟pointwise features的时候，我们可以在两种features中不断的迭代，一种表征的输入就是另一种表征的输出，整个框架最后非常灵活，可以在不同的表征不同的特征不断传播。
 

Experiment

 
我们在室内室外的数据集上面都做了充分的实验来验证我们方法的有效性，同时我们DRINet的计算代价也是相对来说比较低，是一个更加轻量高效的模型。

Welcome to discuss

Reference:

PVCNN:Point-Voxel CNN for Efficient 3D Deep Learning

SPVNas: Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution

关于DeepRoute Lab

深圳元戎启行科技有限公司（DEEPROUTE.AI）是一家专注于研发 L4级自动驾驶技术的科技公司，聚焦出行和同城货运两大场景，拥有“元启行”（Robotaxi自动驾驶乘用车）和“元启运”（Robotruck自动驾驶轻卡）两大产品线。

【Deeproute Lab】是我们创办的自动驾驶学术产业前沿知识共享平台。我们将会把公司内部的paper reading分享在这里，让你轻松读懂paper；我们也会在这里分享我们对行业的理解，期待越来越多的同学认识自动驾驶，加入这个行业！