CVPR2018《Graph Attention Convolution for Point Cloud Segmentation》GACNet 笔记

Graph Attention Convolution for Point Cloud Segmentation

标准卷积由于其特征的各向同性，在语义点云分割中存在固有的局限性。它忽略了物体的结构，导致分割结果中对物体轮廓的描述较差，有小部分伪区域。作者提出了一种新的图形注意卷积(GAC)，它的卷积核可以被动态地雕刻成特定的形状，以适应对象的结构。具体来说，GAC通过给不同的相邻点分配特定的注意权重，根据它们的特点选择性地聚焦于它们最相关的部分。卷积核的形状是由学习到的注意权值分布决定的。GAC虽然简单，但是可以捕捉点云的结构化特征，进行细粒度分割，避免了对象之间的特征污染。从理论上，作者对GAC的表达能力进行了深入的分析，展示了它如何学习点云的特征。经验上，通过对室内和室外数据集的挑战实验，作者提出的GAC在现有的深度学习方法的基础上，展示了最先进的性能。

相关推荐

• 更多论文知识点总结与论文解析请戳 Github
• 图网络研究交流QQ群：832405795
• AI Power 高性价比云GPU租借/出租平台：图网络的计算需要高算力支持，现在注册并绑定（参考Github）即可获得高额算力，打比赛赶论文必备，奖励可随时提现。详情请参考AI Power指南

论文动机

• 【标准图卷积具有各向同性，如上图左，对来自不同方向的节点一视同仁。GAC 旨在利用注意力机制为不同的相邻点分配不同权重，避免特征污染】
  • Left: The weights of standard convolution are determined by the neighbors’ spatial positions, and the learned feature at point 1 characterizes all of its neighbors indistinguishably.
  • Right: In GAC, the attentional weights on ”chair” (the brown dotted arrows) are masked, so that the convolution kernel can focus on the points of ”table”.

模型流程

注意力权重

• 【对于每一个定点，以当前节点和周围节点的相对位置、特征差分作为输入，预测出对应权重值 α，并对同一通道的所有特征做 SoftMax，以缓解密度问题】
• 3：点云坐标，F：旧层特征维度，K：新层特征维度

权重计算

权重归一化

• N(i) 代表节点 i 的邻域（自身 + 一阶邻节点）

卷积聚合

• 这里 * 代表哈达玛积（element-wise production of two vectors）

前向传播

• GACNet 利用 FPS 在点云中采样
• 为每个采样点划一个 k 为半径的球域，在球域内随机采样固定个数邻点
• 利用相对位置和特征差分计算邻点 attention 权重
• 注意力卷积以更新根节点信息
• 下采样层直接返回更新后的采样点
• 上采样先对采样点做NIN卷积然后采用插值+直连的方法上采样
• 再通过一层NIN卷积
• 交叉熵分类

实验结果

语义分割

• Table1 S3DIS dataset
  • 室内数据集，包含3D坐标+传感器信息（height, RGB, and geo-feature），13个类别
  • 评估方式：总准确率，类IOU，平均IOU
• Table2 Semantic3D dataset
  • 城市、乡村雷达数据集，包含3D坐标+RGB信息+强度，8个类别
  • 作者注意到在这个实验中，人造地形和自然地形在GACNet上相对难以分割，因为在容易混淆的区域中存在大量的点没有出现在训练集中

消融实验和鲁棒性测试

• 注意力分布 → Max ：效果降低
• GAC 最后一层 → CRF 层 ： CRF 的迭代没有显著提高精度，证明 GAC 与 CRF 有类似的特性，可以代替它鼓励相似点获得类似 feature 和 label
• 只使用部分 feature 信息：效果降低

• 左：利用 priori knowledge 计算的人工特征对网络准确率提升微弱
• 右：加上高斯扰动后在 ModelNet40 上在准确率走势

参考

• CSDN 总结
• Pytorch 代码