RangeNet++(IROS-2019)学习笔记

RangeNet++

RangeNet++是以SqueezeSeg和SqueezeSegV2为基础，都使用了点云的球面投影的方法，可以将点云数据转换为可以支持很多成熟的二维图像处理方法的数据。（用图片的方式来表示点云）（有效的将点云数据进行降维的方法），同时该方案计算量相对较小，适合于自动驾驶等领域进行实时处理。

目标：

实时准确和快速的进行点云语义分割。

球面投影：

图片上方为球形投影的结果，下方是点云。
上方图像的每一行对应于从激光雷达的每个激光获得的点。在此，图像中的最低行对应于激光雷达中的最低激光，是激光雷达附近最接近的环，如上所示。
投影不是及那个曲面进行简单地展开，而是一个基于坐标系变换的过程。（将三维的点用图片的形式来表示）
球面投影的具体方法：
参考https://blog.csdn.net/weixin_43199584/article/details/105260463

此时我们便用俯仰角和偏航角两个维度的信息将所有的点云全部容纳在内了，此时投影出来的每个坐标点中内部可以带有距离信息，激光反射强度等信息。从而方便成熟的二维卷积进行深度学习。

处理流程：

1. 将三维点云数据通过球投影的方式转换为二维的表示方法。
2. 在该二维的iamge上进行2D全卷积语义分割。
3. 将分割成功的2D信息转换到3D点云上
4. 对分割结果进行优化。
   
   整个网络处理的整个流程

2D全卷积语义分割：

对点云重建：

进行坐标转换的同时，传递相应的label

优化三维语义分割的结构：

作者在GPU上对每个点进行KNN搜索，距离度量使用的是range diffference