点云深度学习---PointNext的初步了解

目录

一、PointNet基础知识

二、基于点云的置换不变性 

 三、基于点云的旋转不变性

---

一、PointNet基础知识

1、三维数据的表现形式

Point cloud：由矩阵的形式组成的

Mesh：由许多的正方形和三角形拼接而成的一个点云的形状。

2、PointNet之前的深度学习模型

在PointNet出现以前，点云上的深度学习模型大致分为三类:
●基于3DCNN的体素模型:先将点云映射到体素空间上，在通过3DCNN进行分类或者分割。但是缺点是计算量受限制，目前最好的设备也大致只能处理32 x 32 x 32的体素:另外由于体素网格的立方体性质，点云表面很多特征都没有办法被表述出来，因此模型效果差。
●将点云映射到2D空间中利用CNN分类
●利用传统的人工点云特征分类，例如:
        ●normal法向量
        ●intensity 激光雷达的采样的时候一种特 性强度信息的获取是激光扫描仪接受装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关
        ●local density局部稠密度
        ●local curvature 局部曲奉
        ●基于维数尺度选择的三维激光雷达点云的线性、中面和散射问题
        ●基于弱监督分割的三维激光雷达点云城市场景分女垂直性特征

二、基于点云的置换不变性 

置换不变性：点的顺序的存储不影响结果。点的排序不影响物体的性质。

当一个N ×D在N的维度上随意的打乱之后，其表述的其实是同一个物体。因此针对点云的置换不变性，其设计的网络必须是一个对称的函数。

缺点：造成大量的数据丢失，最后只是保存留有了最大值向量。

改进：升维度，例如原来的只是3维的，现在进行一个升维1024的处理，这样就会减少很少的信息丢失。

 

 三、基于点云的旋转不变性

点云的旋转不变性指的是，给予一个点云一个旋转，所有的x , y ,z坐标都变了，但是代表的还是同一个物体。

 

流程：输入n个3维的点云进行T-Net网络后，学习生成一个3x3的矩阵。然后输入和3x3的点云进行相乘，相当于进行了一个旋转的校正，得到了符合要求的校正点云。

 max pool：最大池化，相当于一个对称函数，满足之前要求的基于点云的置换不变性 

global feature：全局特征值

如果说是一个分类的问题，则需要继续进行mlp处理，最终得到一个分类的评分。

四、PointNet的缺点

从很多实验结果都可以看出，PointNet对于场景的分割效果十分一般.
原因:网络直接暴力地将所有的点最大池化为了一个全局特征，因此局部点与点之间的联系并没有被网络学习到。