点云配准任务中的点特征与一般点特征的区别在哪里？

点击进入—>3D视觉工坊学习交流群

0.笔者个人体会：

这个工作来自于华中科技大学，发表于ICCV 2021。这个工作聚焦于点云的点特征表示学习，但是，与一般的点特征学习方法并不一样。我们知道，基于深度学习的三维点云处理已经在近年来得到了广发关注，从先驱性的工作例如PointNet到近期的Point Transformer等。这些工作都能有效的学习点特征表示。但是，这些方法学习点特征都是基于输入的某一个点云而言的，所有的操作也都集中在一个点云上，并且追求特征的描述性，力求能准确表示三维点云的局部几何结构。但是，这篇论文针对点云配准工作提出了另一种点云设计方式。我们知道配准的目的是求解输入的点云对之间的相对变换以使它们最好的对齐，在这个过程中，聚焦于用学到的点特征表示构造可靠的匹配对。为此，对于点特征的鲁棒性需求也很重要。为了实现这个目的，本工作提出从输入的两个点云出发，利用这两个点云之间的交互进一步调整点特征学习，使得到的点特征表示源于同时感知到当前点云和另一个需要配对的点云，从而追求正确的匹配点的可匹配性的提升。也就是说这是一个针对特定任务而设计的点特征学习方法，或许此方法学到的点特征难以应用到其他任务，例如分类、分割等，但对于匹配、配准而言应该更加适用。

1、论文相关内容介绍：

论文标题： Feature Interactive Representation for Point Cloud Registration

作者列表：  Bingli Wu, Jie Ma, Gaojie Chen, Pei An

摘要：点云配准是使用两个点云中的共同结构将它们拼接在一起。为了找出这些共同的结构并使这些结构更准确地匹配，源点云和目标点云的交互信息是必不可少的。然而，当前对显式建模这种特征交互的关注有限。为此，我们提出了一个特征交互表示学习网络，它可以从不同层次探索源点云和目标点云之间的特征交互。具体来说，我们首先介绍了一种基于点云内特征交互的组合特征编码器（CFE）。CFE提取每个点云内的交互特征并将它们组合起来以增强网络描述局部几何结构的能力。然后，我们提出了一种点云间的特征交互机制，它包括一个局部交互单元（LIU）和一个全局交互单元（GIU）。前者用于跨两个点云的点对之间的信息交互，从而使一个点云中的点特征与另一个点云中的相似点特征能够相互感知。后者用于根据两个点云的全局交互信息调整每个点特征，因此一个点云具有对另一个点云的全局感知。对部分重叠点云配准的大量实验表明，我们的方法实现了最先进的性能。

主要贡献：

1）我们提出了一种组合特征编码器来提取局部区域的交互特征，其通过结合不同层的特征，增强网络提取局部几何和语义信息的能力。

2）我们设计了一种新颖的点云间特征交互机制，使每个点云都具有另一个点云的上下文感知，从而为后续模块提供更具辨别力的特征

3）我们的端到端 FIRE-Net在多种实验设置下于 ModelNet40 基准数据集上实现了最先进的性能，从而证明了其有效性和泛化能力。

方法介绍：

给定输入点云，，我们的目标是求解旋转矩阵和平移向量以实现输入点云最好的对齐。

Fig1展示了我们的FIRE-Net的整体流程。简要地说，我们的网络的输入包括源和目标原始点云。组合特征编码器（CFE）首先提取源和目标的初始特征，将所有点编码到一个公共特征空间中。然后，设计了一个局部交互单元（LIU）和一个全局交互单元（GIU）来建模点云间的特征交互。最终的交互特征被送到关键点层以选择两个点云中的公共结构。最后，我们使用刚性变换计算模块以迭代的方式来获得可靠的对应关系和计算刚性变换。每个模块的详细信息将在以下部分进行说明。

Fig1：(a)FIRE-Net的整体框架，(b)局部特征交互单元，(c)全局特征交互单元。

一、组合特征编码：

CFE的主要目标是描述源点云和目标点云的局部结构。同时，作为我们特征交互模型的第一级，CFE 实现了点云内的特征交互。我们的 CFE 是一个基于 GNN 的网络，可以通过在3D坐标空间中构建固定图并应用串联连接多层来分层的输出来提取点的多级交互特征，其过程如图2所示。

Fig2.组合特征编码

坐标空间中的局部图：为了表示给定点云的局部几何结构，我们将每个点作为一个中心节点，分别构造一个kNN图。

其中是用于中心点及其近邻点的相对特征的共享MLP。 A是最大池化。σ是线性层。

初始特征：为了增强模块捕获几何和语义信息的能力，我们通过串接每个传播层的输出向量来合并低阶和高阶交互特征。最后，我们在串接的向量上应用共享 MLP以获得初始特征和 。这个过程可以表述为：

其中是一个共享的 MLP。表示层中的特征,L表示传播层数。

二、点云间的特征交互

该模块旨在对点云交互进行建模，它由两个串行单元组成：LIU学习局部交互函数以获得局部交互特征。然后，GIU学习一个全局交互函数得到全局特征交互。请注意，我们将和作为残差项，为可学习尺度参数和β和原始特征提供附加变化，即，

其中和是 LIU之后更新的特征、和 是GIU之后更新的特征。

1.局部特征交互单元：

在CFE编码了输入点云到一个共同的特征空间的前提下，点云间的局部交互可以通过在特征空间上应用GNN 来实现。

特征空间的局部图：在公共特征空间中，我们有M个源点云特征和N个目标点云特征。我们首先构造一个混合特征集，然后将其中的每个特征作为中心节点并应用KNN 构造局部图，从而得到混合图。构建局部图有两种策略：(1) 如图 3左侧所示，无论邻居特征属于还是，我们都连接中心节点与其邻居节点之间的所有边。(2) 如图3右侧所示，边只在属于不同点云的节点之间构建。

在局部图中，我们将边视为两个节点间的关系，例如表示从到的关系。因此在图3中，类型 1 对特征空间中的关系进行了更全面的建模，而类型 2 比类型 1 更清楚地将消息从另一个点云传递到中心节点。

Fig3.特征空间的局部图结构

节点关系挖掘：通过上面定义的局部图，可以通过节点特征及其邻居点特征的边来挖掘节点关系，例如，使用获得关系向量。为了找到更有效的关系函数，我们研究了三种不同形式的关系函数。

其中表示中心点特征， 是其相邻特征之一。是线性层。

我们通过聚合关联向量来更新中心的特征，即：

其中A是聚合函数，例如最大池化。

Fig4.局部特征交互单元的流程细节

局部交互特征：更一般地，我们重复上述操作几次，得到一个高级关联表示及其相应的聚合输出特征。请注意，局部图将随着节点特征更新而动态重新计算，如图4所示。这是与在固定输入图上工作的CFE的重要区别。最后，我们在聚合输出特征上应用非线性层来得到调整后的特征，即局部交互特征。这个过程可以描述为：

通过LIU，每个点的特征具有局部邻域的特点。在LIU之后，源和目标的特征更新为和，然后后面紧接GIU。

2.全局特征交互单元：

为了共享全局信息并全面学习源和目标之间的交互，我们设计了一个 GIU。所提出的GIU获得源和目标全局特征的交叉矩阵，然后通过将交叉矩阵投影到它们的潜在表示空间来更新点特征。

全局信息聚合：我们首先聚合和以获得全局特征。此聚合操作串联池化后的特征，然后使用共享的 MLP对其进行进一步调整，其过程可以表示如下：

其中是共享的MLP操作。

全局信息交叉：对于源点云全局特征和目标点云全局特征,我们构建成对交互：

其中是交叉特征矩阵，d是特征的维数。通过交叉操作，每个可能的特征交互在交叉特征矩阵中明确建模。

全局交互特征：为了将交叉矩阵中包含的信息投影到每个点特征中，我们将源点云特征乘以交叉矩阵，同时目标点云特征乘以转置交叉矩阵。这个过程由下式表示，最终得到了源点云全局交互特征和目标点云全局交互特征 。

通过 GIU，源点云和目标点云可以交互全局上下文信息。即源点云的特征不仅集成了源点云全局信息，还集成了目标点云全局信息，反之亦然。GIU之后，特征被更新为和。

三、关键点层

给定最终的交互特征，我们通过一个简单高效的关键点层来选择源点云和目标点云公共的兴趣点。我们的关键点层可以表示如下：

其中是共享的MLP，输出每个点的显著性分数。这里，提取给定输入的K个最大元素的索引。是从原始点云中选择的关键点集。和表示相应的关键点特征集。

四、刚性变换计算

给定点对的坐标和特征，刚性变换计算模块采用IDAM中的相似矩阵卷积 (SMC) 来回归每个点对的相似性得分。不同之处在于IDAM将点对的特征串联起来作为 SMC输入的一部分，而我们的模型使用点对的特征差异。最后，SMC获得的对应关系被传递到SVD层以计算刚性变换。

本文仅做学术分享，如有侵权，请联系删文。

点击进入—>3D视觉工坊学习交流群

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
3.国内首个面向工业级实战的点云处理课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

8.从零搭建一套结构光3D重建系统[理论+源码+实践]

9.单目深度估计方法：算法梳理与代码实现

10.自动驾驶中的深度学习模型部署实战

11.相机模型与标定(单目+双目+鱼眼）

12.重磅！四旋翼飞行器：算法与实战

13.ROS2从入门到精通：理论与实战

14.国内首个3D缺陷检测教程：理论、源码与实战

15.基于Open3D的点云处理入门与实战教程

16.透彻理解视觉ORB-SLAM3：理论基础+代码解析+算法改进

重磅！粉丝学习交流群已成立

交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。

扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿，微信号：dddvisiona

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看，3天内无条件退款

高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~