首个开源室外点云分割工具箱,提供多篇论文算法的强基线复现模型!(已开源)

PCSeg高性能点云分割开源框架强力来袭!支持多个公开数据集上多种SOTA算法高精度复现,训练时间更短、分割精度更高,开箱即用。室外点云全景分割研究必备,目前已开源,欢迎star

一、PCSeg高性能点云分割开源框架

点云语义分割任务旨在将点云中的每个点分配类别甚至实例标签。然而,作为自动驾驶3D感知的关键任务之一,现有开源工具箱大多仅围绕室内场景进行,缺乏对室外场景的支持。于是,上海人工智能实验室智能交通平台组(ADLab)发布PCSeg高性能点云分割开源框架,在Waymo Open Dataset和SemanticKITTI等公开数据集上支持了多种SOTA算法,并提供了强基线复现模型。

代码地址:https://github.com/PJLab-ADG/PCSeg

PCSeg专注于自动驾驶领域的室外点云分割,致力于推动三维场景理解及其相关领域的统一和繁荣。在PCSeg的帮助下,开发团队以追求公平、效率和性能的方式,在通用的大规模点云数据集上对各种方法进行基准(Benchmark)测试。

PCSeg在拥有较高训练速度及推断速度的同时,对几种SOTA算法的实现分割精度均超过了原论文报告的分割精度。目前,PCSeg支持MinkowskiNet、Cylinder3D、SPVCNN、RPVNet的高精度复现;并支持SemanticKITTI、ScribbleKITTI、Waymo Open Dataset在内的数据集,后续会提供对A2D2、nuScenes的支持;同时也会在近期更新Panoptic nuScenes、Panoptic SemanticKITTI、4D Panoptic SemanticKITTI等对全景分割任务的数据与方法支持。下表为在几个SOTA方法在SemanticKITTI数据集上的PCSeg实现性能和原论文报告性能,可以看到,PCSeg实现的SPVCNN和MinkowskiNet相比原论文报告的性能具有显著优势。

首个开源室外点云分割工具箱,提供多篇论文算法的强基线复现模型!(已开源)_第1张图片

PCSeg框架的深度学习逻辑由PyTorch实现,整体采用简洁易懂的模块化编程。在架构上部分参考了OpenPCDet框架[5],故而对熟悉点云领域的研究和工程人员比较友好。所有模型结构和超参数由Yaml文件控制,并为SemanticKITTI数据集上的几个代表性方法提供了预训练模型参数。

二、已支持的大规模点云数据集

● SemanticKITTI

下载地址:https://opendatalab.com/SemanticKITTI

● ScribbleKITTI

下载地址:https://github.com/ouenal/scribblekitti

● Waymo

下载地址:https://opendatalab.com/Waymo

参考资料

[1]4DSpatio-Temporal ConvNets: Minkowski Convolutional Neural Networks

[2] Cylindrical and Asymmetrical 3D Convolution Networksfor LiDAR Segmentation

[3]Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution

[4]RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR Point Cloud Segmentation

[5]OpenPCDet Toolbox for LiDAR-based 3D Object Detection

作者丨上海人工智能实验室智能交通平台组(ADLab)

更多自动驾驶数据集,欢迎访问OpenDataLab官网查看与下载:https://opendatalab.org.cn/

你可能感兴趣的:(开源框架,自动驾驶,点云全景分割,开源框架)