3D点云语义分割——实现场景理解的关键

作者：小祖

 

前言

3D点云语义分割由于其在自动驾驶、机器人和增强现实（AR）等许多领域的广泛应用，最近引起了越来越多的研究者关注，这也成为了场景理解的关键。我最近接触了基于深度学习的3D点云语义分割这个前沿研究方向，因此对点云分割有一些自己的理解。希望在这里通过整理几篇文章与大家一起分享交流，共同进步。文中的一些观点若有不正确的地方，还请各位读者能给予指正并给出建议，也希望能够大家一起交流学习，能够更加深入地探讨基于深度学习的点云语义分割。

1  何为3D点云数据？

点云数据是什么呢？我之前也感到非常疑惑，总感觉非常高大上，在查阅相关资料后发现，点云数据一般由激光雷达等3D扫描设备获取空间若干点的信息，一般包括XYZ位置信息、RGB颜色信息和强度信息等，是一种多维度的复杂数据集合。

相比于2D图像来说，3D点云数据具有无可比拟的优势，可以提供丰富的几何、形状和尺度信息；且不易受光照强度变化和其它物体遮挡等影响。因此，3D点云能够更好地了解机器的周围环境。

2  场景理解的关键

随着3D采集技术的迅速发展，出现了大量的新颖的、廉价的3D扫描仪、LiDAR和RGB-D相机(如Kinect、RealSense和苹果深度相机)，降低了3D点云数据的获取难度，研究者可以轻易的获得大量3D点云数据。同时也出现了越来越多需要感知 3D 环境或与 3D 对象交互的新兴应用。使得3D点云数据规模变得十分庞大。

而如何从大量的3D点云数据中获取有用的信息，更好地实现场景理解，是目前计算机视觉研究的重要内容。基于3D点云数据的目标检测、分类、识别是当前解决场景理解的主要技术，而3D点云语义分割是这些技术的基础。

3D点云语义分割是指给点云中的每个点赋予特定的语义标签，也可以说是对每个物体进行分割，赋予每个物体特定的含义。能够准确描述空间中物体的类型，使我们对空间物体有更加细致的了解，所赋予的语义标签在真实世界中是有意义的。

如下图展示的是一辆自动驾驶汽车在道路上行驶时所采集的点云数据进行语义分割后的可视化图，其中，汽车被赋予为标签0，同时使用蓝色标记；道路旁的树木被赋予为标签1，同时使用绿色标记。实现这个功能有助于机器实现场景理解。

3  应用

3.1  自动驾驶

在自动驾驶领域中，阿里达摩院具有较为先进且成熟的研究。通过3D点云语义分割技术将道路环境点云数据进行分割，可以识别出行人、汽车等物体，帮助车辆理解道路环境。目前达摩院将这项技术应用在无人物流车上，大幅度的提高了物流车对周围环境的理解，使得物流车配送更加准确。

     

3.2  铁路场景检测

在铁路场景检测中，采用3D点云语义分割技术能够识别铁路上的侵入异物，并且准确直观，还不易受到天气及环境的影响；在车站站台、隧道口等重要区域进行异物入侵检测能有效的保证高速铁路运行的安全性。

    

3.3  增强现实

在增强现实（AR）中，采用3D点云语义分割技术人们可以通过AR眼镜去感受虚拟的3D场景。够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来，例如冰箱门上的虚拟菜单。

从上述例子可以说明，3D点云分割已经在生产生活的方方面面具有较为广泛的应用。对3D点云分割更为深入的研究是非常有意义的，如此一来，机器可以像人类一样感知真实环境，从而使机器更加智能，使人们的生活变的更加有趣、安全和便利。

4  研究方法

由于3D点云数据具有稀疏性、不规则性，对点云数据分割具有较大挑战，其技术发展也并不是一帆风顺的。早期由于计算设备和采集设备等一些因素，点云分割的研究只局限于工业领域的一些规则的物体，如对齿轮、曲轴、叶片等进行识别。

而随着计算机性能的提升和激光雷达等一些高速点云采集设备的出现，点云分割的研究便有了新的发展。很多人开始研究复杂场景的点云分割，如在办公环境中的机器人感知的研究；清华大学对道路环境点云分割的研究。目前，人工智能新一轮革命使得深度学习大放异彩，很多研究者开始关注于基于深度学习方法的点云分割。

 

因此，接下来的一段时间，我将会完成一个基于深度学习的3D点云语义分割的系列文章，继续给大家分享一些基于深度学习的3D点云分割方法，希望能够和你们一起探讨，加深对点云分割技术的理解。

 

 

如果您觉得文章对您有用，请给我点个赞吧！
您的肯定是对我最大的鼓励。

 

本文首发于公众号：机器学习与复杂系统
扫描二维码关注我，第一时间获取相关文章