《论文阅读19》Multisource forest point cloud registration with semantic-guided keypointsand robust RANSAC

   一、论文

• 研究领域： 点云配准  
• 论文：Multisource forest point cloud registration with semantic-guided keypoints
  and robust RANSAC mechanisms 

• International Journal of Applied Earth Observations and Geoinformation

• Received 29 August 2022, Revised 20 October 2022, Accepted 9 November 2022, Available online 15 November 2022, Version of Record 15 November 2022.

• 论文链接
• 团队公开的数据集WHU-TLS

---

二、论文概述

本研究提出了一个统一的和无标记的框架，在森林场景中的TLS-TLS和ULS-TLS注册。

• 该框架不依赖于单树分割和地面滤波，提高了森林配准的鲁棒性和可靠性。它支持在具有规则布局和有限重叠的人工林中进行登记，从而提高了野外数据收集的实用性和效率。
• 提出了一种新型的语义引导的森林点云注册的关键点。所提出的关键点在不同视图之间保持可靠的可重复性。它们不再局限于地面水平，而是分布在整个空间，这提高了用于配准的输入特征点的可靠性和质量。

首先，在木叶分离的激励下，通过利用木材响应指标（WRI），从 TLS 和 ULS 点云中检测出语义引导的关键点。利用木材响应指标 (WRI)，该指标代表了森林点云不同视图之间可靠的可重复性。森林点云之间可靠的重复性。

其次，通过使用WRI滤波器和二进制形状上下文（BSC）描述符匹配生成初始对应集。

最后，初始对应集修剪和优化通过一个强大的RANSAC机制，包括几何相容性滤波器，以指导和修剪假设生成过程和修改后的假设评估步骤，以进一步优化变换。

三、论文详述

  基于语义引导关键点和鲁棒RANSAC机制的多源森林点云配准

• abstract  

  地面激光扫描（TLS）和无人机激光扫描（ULS）的日益提高的可用性，促进了准确和详细的森林结构测量。登记来自不同平台的多视角观测是全面了解森林结构的先决条件。当前，森林点云注册通常通过基于单树属性的（例如，树木位置、树干直径）方法，其遭受各种复杂的森林组成和地形，并且对于具有规则树木布局和普通树木不足的森林可能是不可靠的。因此，本研究提出了一个统一的和无标记的框架TLS-TLS和ULS-TLS点云注册在林区。

首先，在木叶分离的激励下，通过利用木材响应指标（WRI），从 TLS 和 ULS 点云中检测出语义引导的关键点。利用木材响应指标 (WRI)，该指标代表了森林点云不同视图之间可靠的可重复性。森林点云之间可靠的重复性。

其次，通过使用WRI滤波器和二进制形状上下文（BSC）描述符匹配生成初始对应集。

最后，初始对应集修剪和优化通过一个强大的RANSAC机制，包括几何相容性滤波器，以指导和修剪假设生成过程和修改后的假设评估步骤，以进一步优化变换。在广西林场6个不同密度和树种的样地上进行了试验。所得的平均注册残差和运行时间分别为0.049m和93 s的TLS-TLS场景，0.299m和242 s的ULS-TLS场景，分别。综合比较表明，所提出的方法优于其他基线。结果表明，该框架可以提高多源数据采集与登记的实用性和效率，从而促进TLS和ULS在森林生态系统科学中的应用。

基于单树属性的（例如，树木位置、树干直径）方法，其遭受各种复杂的森林组成和地形，并且对于具有规则树木布局和普通树木不足的森林可能是不可靠的。

• Introduction

  陆地和无人驾驶飞行器（UAV）激光扫描系统是用于评估森林结构和支持广泛的森林应用（包括森林清查）的有价值的技术（Wallace等人，2012; Liang等人，2018）、可持续森林管理（Camarretta et al.2020; Zhang等人，2022; Xue等人，2022）和碳核算（Rosenqvist等人，2003; Brede等人，2022年）。在过去的二十年中，无人机激光扫描（ULS）和地面激光扫描测绘（TLS）在森林应用中从科学测试到业务应用（纳尔逊，2013）得到了快速发展。然而，ULS和TLS的主要缺点之一是，由于遮挡，它们无法获得有关森林的完整结构信息，这被认为限制了这些技术在森林应用中的潜力（Tremblay和B 'eland，2018; Polewski等人，2019年）。ULS系统在绘制森林冠层图方面具有高效率和灵活性，但在林下层中捕获的点不足。TLS系统可以在垂直方向上提供林下层的补充观测。然而，单次TLS扫描也遭受水平方向上的遮挡。这些遮挡和不完整的结构对于森林结构理解可能是有问题的（Korpela等人，2012; Wang等人，2019 a），并阻碍这些技术在大面积上的应用。因此，注册的多源点云，包括TLS-TLS注册从不同的地面视图和ULS-TLS注册从地面-空中视图，是准确理解的水平和垂直的森林配置的先决条件。

  人工标记为林区登记提供了一种解决方案。然而，人工标记物的放置和检测严重阻碍了这些方法的实用性和效率。因此，需要一种基于无标记的多源点云自动配准方法。大量的研究为机器人/移动的感知、医学成像和工业应用中的特定任务设计了不变特征和匹配策略。然而，由于森林生态系统的语义信息单调（多为树木）和自然要素的结构不规则，目前针对森林生态系统开发的自动配准方法相对较少。森林场景自动配准的典型技术是基于单树属性的特征，如树的位置和树干直径。这些技术依赖于精确的树木分割和地面过滤，这在森林场景中不是微不足道的任务。它们的性能会随着复杂多变的森林和地形条件而退化。对于具有规则的树布置和相似的树属性的人工林，即使当所获得的树属性是准确的时，所开发的树特征也可能不足以用于配准。值得注意的是，理论上需要至少三棵公共树来执行3D配准。建议现场活动期间两次TLS扫描之间的距离小于15 m，以提高配准的可靠性（Tremblay和B´eland，2018; Guan等人，2020a）。对于密集和复杂的森林环境，需要更小的距离。这些限制降低了野外数据采集的实用性和效率。也已经提出了一些其他类型的特征基元用于森林配准，诸如模式点（Dai等人，2009年12月28日）。2019）和视觉遮挡点（Guan等人，2020a）。

森林场景自动配准的典型技术是基于单树属性的特征，如树的位置和树干直径。这些技术依赖于精确的树木分割和地面过滤，这在森林场景中不是微不足道的任务。它们的性能会随着复杂多变的森林和地形条件而退化。

  然而，它们也受到棘手的森林环境的影响，需要足够的重叠。基于模式的方法需要多扫描TLS参与ULS-TLS注册以增加成功率（Dai et al. 2019年）。由于垂直方向上的低重叠，单扫描TLS和ULS的配准可能存在问题。此外，上述为森林配准设计的特征点主要局限于地面水平，这意味着配准的质量控制仅关注近地面子空间而忽略了上部冠层区域。对于匹配策略，随机样本一致性（RAN SAC）被用作刚性变换估计的实用解决方案。在森林配准中，RANSAC通常与树属性或从树属性导出的描述符组合，以修剪伪对应（Kelbe等人，2009年，美国）。2016年; Tremblay和B 'eland，2018年; Guan等人2020b）。然而，结果可能是不准确的，随着检测到的树木数量的增加，它们可能会变得计算密集和无效（Tremblay和B 'eland，2018）。

基于上述数据属性和配准问题，本研究提出了一个统一的和无标记的多源森林点云配准框架。主要贡献如下：

• 我们提出了一个统一的框架，在森林场景中的TLS-TLS和ULS-TLS注册。该框架不依赖于单树分割和地面滤波，提高了森林配准的鲁棒性和可靠性。它支持在具有规则布局和有限重叠的人工林中进行登记，从而提高了野外数据收集的实用性和效率。
• 我们提出了一种新型的语义引导的森林点云注册的关键点。所提出的关键点在不同视图之间保持可靠的可重复性。它们不再局限于地面水平，而是分布在整个空间，这提高了用于配准的输入特征点的可靠性和质量。
• 我们引入了一个强大的RANSAC机制，有效地获得准确的变换结果。在RANSAC假设生成过程中，通过几何相容性滤波步骤提高配准效率。在假设评价中使用改进的RANSAC度量进一步提高了变换精度，该度量同时考虑了内点数量和精度的影响。

本文件其余部分组织如下。第二节简要回顾了登记的一些相关技术。第3节介绍了研究中心、收集的数据集和田间活动期间的操作详情。第4节描述了拟议的注册框架和评价标准。实验结果和讨论见第5节。第六部分是结论和展望。

• Related work

在本节中，我们简要回顾了与刚性3D点云配准高度相关的一些技术，包括3D关键点匹配，对应关系修剪和优化方法以及基于深度学习的配准方法。涉及森林和城市场景中应用的相关技术。

3D关键点匹配

许多点云配准方法从3D关键点匹配开始以生成初始对应集。3D关键点匹配通常包含三个步骤：3D关键点检测、描述和匹配。关键点检测器可以将输入点云减少到更少数量的关键点并且提高配准效率。一些研究人员试图开发具有高度可重复性的独特关键点。代表性的关键点包括SIFT（Flitton等人，2010）、局部表面补丁（LSP）（Chen和Bhanu，2007）、内在形状特征（ISS）（Zhong，2009）、MeshDoG（Zaharescu et al. 2009）、KeyPoint Quality（KPQ）（Mian等人，2010）、Harris3D（Sipiran和Bustos，2011）、正常取向直方图（HoNO）（Prakhya等人，2016），等等。与针对城市点云和3D模型开发的3D关键点检测器相比，针对森林场景设计的3D关键点相对较少。大多数森林点云配准方法采用树位置（Hauglin等人，2008）。2014; Kelbe等人，2016; Kukko等人，2017年; Tremblay和B 'eland，2018年; Polewski等人，2019; Guan等人，2020 b）或柄轮廓（Liu等人，2017）作为注册的原始数据。然而，基于树位置的方法有一些局限性。首先，树木位置的准确性和重复性依赖于树木分割和地面滤波的性能，这在森林环境中并不总是容易处理的。第二，当树顶和树干不在同一垂直线上时，从ULS（树冠）和TLS（树干）导出的树位置可能具有偏差。第三，在人工林中，由于规则的放置和相似的树属性，树匹配可能是模糊的和不可靠的。成功登记需要足够的地面取样和至少三棵普通树木。一些研究人员建议扫描中心应接近15 m，以提高TLS-TLS配准的可靠性（Tremblay和B´eland，2018; Guan等人2020a）。对于茂密的森林和复杂的地形，可能需要较小的距离。这些可能会降低现场数据收集的实用性和效率。最后，树木位置主要局限于地面水平，使得配准在地面附近具有较低的误差，但在上部树冠中具有较大的误差（Kelbe等人，2008）。2016年）。

除了树的位置和干曲线之外，还提出了一些其他类型的关键点用于森林点云中的注册。Dai等人（2019）最小化了ULS和TLS的概率密度分布差异，并通过均值漂移算法提取了基于模式的关键点。基于模式的关键点需要冠部中足够的重叠以保证稳定性。.Guan等人（2020a）提取了用于TLS配准的视觉遮挡点，这些遮挡点是径向遮挡区域的起始点，并且是树位置的子集。视觉遮挡点是不可行的ULS，需要准确的地面点识别。这些关键点还受到地面滤波性能的影响，并且它们的z坐标也被限制在地面水平。

描述符将关键点周围的局部表面编码成特征向量，使得关键点可以被匹配。代表性描述符包括快速点特征直方图（FPFH）（Rusu等人，2009）、ISS描述符（Zhong，2009）、旋转投影统计（RoPS）（Guo等人，2013）、方向直方图（SHOT）的签名（Tombari等人，2010）和二元形状上下文（BSC）（Dong等人，2017年）。特征匹配步骤通过描述符匹配技术建立相应的关系。在森林场景中，单个树属性，包括胸径（DBH）、树高、树位置之间的距离或从这些树属性发展的特征通常用作匹配的描述符（Kelbe等人，2008）。2016年; Tremblay和B 'eland，2018年; Polewski等人，2019; Guan等人，2020b）。

对应剪枝和优化方法

众所周知，3D关键点匹配包含离群值，其可由可重复图案、有限重叠、噪声或密度变化引起。在真实的点云场景中，初始对应关系的离群值率通常高于95%（Bustos和Chin，2017）。因此，需要鲁棒的对应修剪和优化方法。也许最流行的对应修剪和优化方法是基于RANSAC（Fischler和Bolles，1981）。它遵循“假设生成和验证”方案，其迭代地随机采样最小样本集以生成假设，并基于彼此一致的对应关系的数量来评估每个假设的正确性。已经提出了RANSAC的一些变体以进一步提高配准的性能。Yang等人（2016）开发了一种优化样本一致性（OSAC）算法来优化对应关系。局部特征统计直方图（LFSH）描述符之间的欧氏距离被用来首先去除主要的离群值。然后引入基于点到面距离的误差度量来优化变换。Quan等人（2018）首先根据局部体素化结构（LoVS）描述符的相似性对所有初始对应进行了排序。然后，一个全局约束的1点为基础的样本一致性（GC1SAC）算法被用于估计转换的使用局部参考框架（LRF）配对的关键点与重叠点的数目作为判断标准。已经在城市点云和模拟模型数据中探索了这些RANSAC方法与修改的假设生成和评估过程，然而，据我们所知，RANSAC的变体将如何在森林数据集中执行来自不同平台（包括不同的地面视图和地面空中视图）的高度不规则和unconstructed自然元素仍然不清楚。

在森林场景中，经典的RANSAC算法通常用于修剪和优化树位对应关系，并结合树位属性（包括胸径、树高、树位之间的距离或其变体）。Kelbe等人（2016）首先通过DBH相似性填充具有DBH和修剪的伪对的茎的三元组。然后用固有几何相似度存储过滤后的对，RANSAC用匹配连接点的个数来评估每对的TLS配准。特伦布莱和B 'eland。（2018）修改了Kelbe等人的算法。（2016）并通过比较三角形中的长度来呈现并行化版本。Guan等人（2020b）将树木分布的空间模式转换为不规则三角网（TIN），以便在匹配投票中考虑面积和角度标准。然后利用经典RANSAC算法对匹配的树对进行过滤和优化。虽然这些方法在测试数据集上获得了令人满意的结果，但它们的计算时间和存储需求随着树（或连接点）的数量的增长而快速增长。Tremblay和B 'eland（2018）报告说，当检测到的树的数量超过50时，执行时间和内存使用量变得非常大。在经典的RANSAC方案中，他们的结果可能不太准确，因为只考虑了内点的数量，并且内点被平等对待。Polewski等人（2019）基于树之间的相互距离对特征向量进行编码，并将相似性嵌入完整的加权二分图中以进行最大权重匹配。Dai等人（2019）将ULS和TLS的配准视为模式点的概率密度估计。源和目标模式点被视为高斯混合模型（GMM）的质心和由GMM生成的数据点。相干点漂移（CPD）算法用于迭代地拟合GMM质心以与数据点对齐。然而，它需要两个模式点之间有足够的重叠，并且性能受到异常值比率的影响，异常值比率通常是事先未知的，并且不能自动或分析地确定。

基于深度学习的配准方法

3D点云上深度学习的发展和进展（例如，PointNet（Qi等人，2017）和DGCNN（Wang等人，2019 b））为基于学习的注册方法提供了机会。最早的作品之一是PointNetLK（Aoki等人，2019），它通过PointNet将点云嵌入高维特征空间，并通过IC-LK算法迭代对齐特征表示（Baker和马修斯，2004）。PCRNet（Sarode等人，2019）通过用深度神经网络取代IC-LK算法来扩展PointNetLK。Wang和所罗门（2019 c）提出了一种DCP注册网络，该网络计算DGCNN特征，并采用Horn方法在端到端模式下进行匹配。尽管这些方法已经报告了测试数据上的良好结果，但是它们对于部分到部分点云配准可能是有问题的（Fu等人，2008年，20018年，2008年，20019年，2019年，2021年）。Wang和所罗门（2019 d）提出了一种扩展DCP的PRNet，并试图以自我监督的方式解决部分配准。Wang等人（2021）提出了第一个用于大规模户外TLS点云的注册网络JoKDNet，其中关键点检测和描述被联合学习以注册点云。然而，这些方法中的大多数以监督的方式训练网络，这限制了它们在现实世界未标记数据上的应用(Dong例如，2020; Deng等人，2021年）。并且这些基于深度学习的配准方法仍然难以在真实的场景中生成可接受的内点率（Yang等人，2020年）。

• 研究中心和数据收集

研究区和样地

实验在中国广西的四个森林地点进行，包括贵港（23 ° 7′N，109 ° 28′E）、钦州（22 ° 2′N，108 ° 34′E）、来宾（23 ° 6′N，109 ° 47′E）和桂林（24 ° 59′ N，110 ° 35′E）。①的人。贵港市森林公园是一个以马尾松为主的种植园，林下层少，地势平坦。树木以规则的模式种植，树木间距约7米。平均树高18米，胸径44厘米，树干密度133株/公顷。钦州林是由尾叶桉、马尾松和马占相思组成的天然幼林，密度为600株/hm 2。平均树高12 m，胸径19 cm。来宾林区优势树种为马尾松和粗壮桉，树干密度为1311株/hm 2。平均树高15 m，胸径19 cm。桂林森林公园以杉木为主，树干密度为755株/hm 2。平均树高12 m，平均胸径18 cm。贵港森林和钦州森林都有两个样地，贵港和来宾森林都有一个样地（表1）。

TLS数据

TLS数据于二零二零年五月使用RIEGL VZ-400激光扫描系统收集，该系统提供360 °的水平视场和100 °的垂直视场（从− 40 °至60 °），角扫描分辨率为0. 03 °。扫描频率为120 kHz。它的最大测量范围为600 m，测量精度为2 mm，在100 m。考虑到测试图的不同茎密度，使用不同的扫描间隔（相邻扫描中心之间的距离）来完成图的完全覆盖。在每个图中设置至少两次扫描，最小扫描为14 m，最大扫描为53 m（表2）。

ULS数据

本研究使用了北京SureStar公司开发的Genius无人机激光雷达。使用DJI M200作为系统中的平台。无人机平台上安装了RFans-16激光扫描仪、先进的导航空间双耦合GNSS和IMU传感器。RFans-16扫描仪的水平视场为360 °，垂直视场为30 °。测量范围为200 m。其工作波长为905 nm，扫描频率为320 kHz。无人机激光雷达系统的标称距离误差小于0.15m。于二零二零年六月，于贵港、来宾及钦州上空获取三组ULS点云。飞行高度为离地40 m，速度为5 m/s。在本研究中，使用三个图上的ULS和TLS数据进行ULS-TLS配准。

• Method

Overview

提出的框架提供了一个通用的解决方案，自动注册近地面多源点云在森林场景，包括TLS-TLS注册（不同的地面视图）和ULS-TLS注册（地面空中视图）。该框架包括三个主要步骤：

1) 从森林ULS和TLS点云检测语义引导的关键点;

2）通过WRI滤波和BSC匹配生成初始对应集;

3)从初始对应集合中剔除离群值，通过鲁棒的RANSAC机制获得准确的转换。

注册TLS-TLS/ULS-TLS森林点云的总体工作流程如图所示。2

WRI关键点检测

受Wan等人的木叶分离工作的启发。（2021），我们提出了一种用于森林TLS-TLS和ULS-TLS点云配准的新型关键点。预期良好的3D关键点检测器具有两个重要特性：

1)检测到的关键点在同一林区不同视角之间应具有可靠的重复性;

2)所检测到的关键点的局部表面应当具有足够的描述性信息，以便这些点可以被唯一地表征（Tombari等人，2013; Prakhya等人，2016年）。WRI关键点检测器包含两个步骤：修剪步骤和非最小值抑制（NMS）步骤。第一步是通过在每个点处计算的显著性测量来修剪输入数据。受Wan等人在TLS点云中的木叶指示器的启发。（2021），我们提出了一个新的指标WRI，它在TLS和ULS点云中共享木材成分的相似特征和响应。显著性测量由WRI给出：

其中L、P和S分别指线性、平面和散射特征。与树叶和地面组件相比，木材组件更可能在不同的视图和平台上表现出稳定和相似的几何特征。WRI被设计为在TLS和ULS点云上表示类似的响应和分布。木材组分具有比其它组分（例如，叶子和地面）在TLS和ULS两者中。图3示出了TLS和ULS点云中的WRI分布的两个示例。

基于WRI的显著性度量在修剪步骤的主要原理是检测具有相似置信度的木材组件的显著点。具体来说，

• 我们首先按升序对所有关于WRI的点进行排序。
• 然后前nW排名的点，即，从输入点云中选择那些更可能具有相似木材置信度的点作为关键点候选，并将其传递到下一阶段。

为了避免有太多的关键点靠近，我们在NMS步骤中检查两个条件以将其标记为关键点或不标记。

• 第一个条件    它应该在其邻域中具有最小WRI。
• 第二个条件，检查它是否在其邻域中具有最强的曲率。

满足这两个条件中的任何一个，则该点被标记为关键点。算法1中给出了从森林点云进行WRI关键点检测的步骤总结。 

一种鲁棒的离群点剪枝RANSAC机制

由于森林场景中的成对TLS或ULS-TLS数据集通常受到部分重叠、可变密度和重复结构（例如，不同树木之间的相似木材或树叶形状），需要修剪和优化初始对应集合以获得精确的变换。在这项研究中，我们在RANSAC中采用了两步离群值消除策略：假设生成步骤中的几何相容性过滤器和假设评估步骤中的修改度量。为了减少RANSAC中生成的假设数量，提高效率，在第一步中，通过几何相容性对Cinit中的对应候选进行过滤。