3D点云 GNN图神经网络 在目标检测上

在3D点云语义分割方法中,GNN已经做了很多可用的方案。

但是在目标检测上依旧是采用比较传统的CNN和稀疏卷积的组合，这一篇文章是研究了图卷积在3D检测的中的用法。来自卡内基梅隆大学。已经被CVPR2020接收.
这里是 paper
这里是 code

Abstruct

• 一个采用GNN设计的3D目标检测框架
• 过程是先将点云场景编码成图结构，随后设计了一个叫point-GNN的网络结构，在这其间，作者设计了一个自动配准的算法来减少转变误差，同时设计了一个目标框融合的操作来结合从多个顶点的准确预测。

1. Introduction

• 3D目标检测的应用
• 点的稀疏性使得不能使用传统的CNN网络结构
• 目前的几种运用目标检测的点的表示形式：
• 

（1）图一的就是目前比较流行的voxel-based的一些方法，首先将点体素化，提取体素特征
（2）图2则是建立在pointnet的基础上的网路架构表示形式，有F-pointnet和point-RCNN等网络代表
（3）值得一提的是，CVPR2020和ICCV19已经有一些文章在将上诉的voxel-point的方法结合起来了，其中有出于提高速度的voxel-pointnet和精度提升非常大的PVRCNN（强推）
(4）图三即是本文作者所采用的GNN网络结构，可以看出和pointnet最大的不同就是没有采取采样的策略，这也就会导致在程序运行中FPS很低.。作者在本文中所有的点都作为图的顶点，以一定的半径范围内的点相连成边

• 作者的网络结构输入的是点云的图表示，在输入前需要对点云建图。属于一阶段的方法，作者同时引入了自动配准机制，该机制可以允许点根据他们的特征配准他们的坐标。以及设计了基于多顶点预测结果的合并算法
• 作者只建图一次，剩下的GNN优化过程都是在同一张图上进行优化工作的

over-all structure：

 

上图很清晰的表达了作者做的三部分结构（1）图构建（2）PointGCN网络结构（3）bbox融合，边界框合并和评分

其中，Classification+Localization 识别单个物品并且识别位置

1. 图构建

作者在这里指出可以采用方法使得建图的时间复杂度降低到O ( c N ) ， 这 里 的 c 表 示 在 这 个 固 定 半 径 内 的 点 的 最 大 个 数 O(cN)，这里的c表示在这个固定半径内的点的最大个数O(cN)，这里的c表示在这个固定半径内的点的最大个数，作者的表述为：

The construction of such a graph is the well-known fixed radius near-neighbors search problem. By using a cell list to find point pairs that are within a given cut-off distance, we can efficiently solve the problem with a runtime complexity of O(cN) where c is the max number of neighbors within the radius.

但是在实际上，1w多个点也是很大的计算负担，因此作者采用了voxel采样，作者表明他采用的voxel仅仅是用于采样，此处的体素仅用于降低点云的密度，而不是用作点云的表示。不会用于点云表示，作者还是采用的graph的方式表示点云。

作者为了使得之前的信息不丢失，采用了把voxel编码的信息存放在上式中的si 中作者并将这些特征作为GNN的初始特征，迭代过程可以下图所示：
 

​

 1）这里的输入采用的是顶点间的相对坐标作为输入，因为相对坐标对点云的整体平移具有不变性，但是对邻近区域的变换很敏感。但是假如一个平移被添加到一个顶点时，他们的局部结构还是相似的，但是相对坐标是发生变化的，这会导致增加输入方差。
（2）为了减少平移方差，作者根据邻居的结构特征来调整他们的坐标，而不是使用中心顶点坐标