Pointnet&Pointnet++点云上的深度学习及其在三维场景理解中的应用
-
- 转化为栅格数据，使用CNN提取特征
- 使用点云的原生数据对特征进行端到端的提取
屏幕剪辑的捕获时间: 2018/11/17 21:36
设计的算法和网络对点云需要满足：
点排序置换不变性。
视角转换不变性。
屏幕剪辑的捕获时间: 2018/11/17 21:30
对称函数的置换不变性，例如，取最大值、重心平均等保证点云数据输入的无序性。
先高维再降维的网络结构：
屏幕剪辑的捕获时间: 2018/11/17 21:34
g=max-pooling, MLP=multi-payer perception
屏幕剪辑的捕获时间: 2018/11/18 10:37
点云的坐标旋转不影响分类原则，保证视角变换下，函数的适用性。
视角变换的对齐处理，当然也可以用来进行神经网络中间层的特征变换处理。
屏幕剪辑的捕获时间: 2018/11/18 10:43
分类网络：（K类）
视角对齐-多层感知高维映射-特征对齐-标准高维映射-对称函数提取全局特征族（1024个）-多层高维映射-输出分类
分割网络：（M类）
对每个点进行分类，单个点的特征和全局特征结合，在全局特征族中寻找各自的位置。
屏幕剪辑的捕获时间: 2018/11/18 10:51
屏幕剪辑的捕获时间: 2018/11/18 10:53
屏幕剪辑的捕获时间: 2018/11/18 10:54
内存开支
屏幕剪辑的捕获时间: 2018/11/18 10:55
计算复杂度开支
结论：适用于移动设备和可穿戴设备应用的算法框架。
屏幕剪辑的捕获时间: 2018/11/18 10:56
鲁棒性分析，对丢失部分数据的场景分割。
屏幕剪辑的捕获时间: 2018/11/18 10:57
点云对丢失数据鲁棒性的解释：少数的关键点是轮廓点，对场景分割任务或者分类任务起主导作用。
因此，对于轮廓特别清晰的图片，点云可以很优秀地学到特征。
屏幕剪辑的捕获时间: 2018/11/18 11:10
对于点云数据，其难点在于当将一个场景中多个物体进行平移和旋转后，点的坐标发生了变换，每个点MLP后的特征变化，MAX_POOLING后的全局特征族会发生变化，因此处理平移和旋转不变性是关键的数据预处理任务。
这里提出在划分的局部小区域使用pointnet进行特征提取和形状向量表示，将一个复杂形状用更加少的点坐标和形状向量表示。
屏幕剪辑的捕获时间: 2018/11/18 11:16
展示了两层pointnet++,随后可以使用插值或者是pointnet对原复杂图形进行恢复。
屏幕剪辑的捕获时间: 2018/11/18 11:20
实验：对同一幅图片随机位置减少点云的数量，对比两种网络的分类精确度。
如果kernel太小，类似于VGG，kernel选取3*3,由于点云数据具有采样率不均匀的性质，近处采样点多远处采样点少，导致输入图片的采样率对网络的影响很大。
屏幕剪辑的捕获时间: 2018/11/18 12:02
采样率不均匀的解决方案。
PiointNet++总结：
-
- pointnet局部特征学习，平移和视角变换的不变性。
- 部分填充数据丢失的鲁棒性。
- 采样率变化的鲁棒性。
- 外形相似的分类鲁棒性，如下。
屏幕剪辑的捕获时间: 2018/11/18 12:06
屏幕剪辑的捕获时间: 2018/11/18 14:00
应用场景：
-
- 分类
- 部分分割
- 3D场景语义分割(semantic segmentation)
2D+Depth map输入神经网络。
3D神经网络。
屏幕剪辑的捕获时间: 2018/11/18 13:17
屏幕剪辑的捕获时间: 2018/11/18 13:20
对点云进行矩阵的乘法，完成坐标系的归一化，在进行物体检测与分割，准确度大大提升。
缺点：2D数据的分辨率较高，texture纹理丰富；3D做不到。今后可能是2D和3D数据结合。
屏幕剪辑的捕获时间: 2018/11/18 13:23
相关研究组：
Standford
Berkeley
MIT
SPLATNet: Sparse Lattice Networks for Point Cloud Processing
来自 <https://arxiv.org/abs/1802.08275>