【阅读整理】An Accurate Skeleton ExtractionApproach From 3D Point Clouds of Maize Plants
原文：
Frontiers | An Accurate Skeleton Extraction Approach From 3D Point Clouds of Maize Plants | Plant Science
提出方法：
提出了一种准确的骨架提取方法来弥补 3D 点云与玉米植物表型性状估计之间的差距：
该算法首先使用点云聚类和色差去噪来降低输入点云的噪声。
接下来，应用拉普拉斯收缩算法来收缩点。
然后通过自适应采样选取代表植物骨架的关键点，将相邻点连接起来形成由语义器官组成的植物骨架。
最后，通过沿原始点的切线方向建立一个向前的局部坐标，对输入点云的偏差骨架点进行校准。
实现目标：
1、提取玉米叶片的骨架曲线，使茎和叶脉的偏差更小
2、提高玉米植株叶片长度、叶片方位角等需要在基于图像的方法中校准的表型性状的准确性
3、该方法能够求解玉米植株各生育期的点云。
结果：
所提出的方法成功地从 3D 点云中生成准确提取的骨架，并有助于高精度估计玉米植物的表型参数。
骨架提取过程的实验验证，使用三个品种和不同生长阶段的玉米进行测试，表明提取的点云与输入点云很好地匹配。
与 3D 数字化数据衍生的形态参数相比，使用提取的植物骨架估计的叶长、叶倾角、叶顶长、叶方位角、叶生长高度和株高的 NRMSE归一化均方根误差 分别为 5.27、8.37、5.12、分别为4.42、1.53和0.83%，可以满足表型分析的需要。
处理一株玉米所需的时间低于 100 秒。
该方法可能在进一步的玉米研究和应用中发挥重要作用，例如基因型-表型研究、几何重建、功能结构玉米建模和动态生长动画。
理论知识：
由于植物的形态学的复杂性,许多种类的传感器需要涉及获取植物的形态学数据,包括RGB相机，深度照相机，激光雷达，和多光谱相机。
实验环境与方法流程：
玉米植株的三维点云数据采集有多种方法，包括多视角立体三维重建、三维扫描和二维激光雷达三维合成。采用地面激光扫描仪Faro Focus3D X130采集室内选定植物的点云。
A输入点云；B去噪；C用拉普拉斯抓取骨架关键点；D骨架点重采样和连接；E识别茎叶点；F骨架点校准；G最终骨架提取结果；H输入点云与提取骨架的匹配可视化
数据预处理
点云降噪：
点云预处理：
问题1：在三维扫描过程中，即使是像人在植物周围移动这样的轻微风也可能导致合成点云的重叠和偏移。
问题2：此外，还需要检测和删除用于装载和存放玉米植株的花盆点云。
处理方法：在进一步操作之前，必须对点云进行预处理。
问题3：得到的点云密度较大，描述一株成年玉米植株的点数可达5万个。
处理方法：为了提高以下算法的效率，采用统一化简算法(Han et al.， 2015)对稠密点云进行密度降低。
结果：当每个玉米植株的点云密度减小到1万个点左右时，该算法的精度不会受到太大影响，也令人满意。
降噪算法：K近邻聚类算法
（1）随机选择点云中的任意点p，在点p附近的距离r内识别最近的点Np，然后把p点和Np点标记为可访问状态，这里是r=0.012 l，其中 l 是点云边界框的最长对角线；
（2）将p与Np储存到cluster list T，将Np储存到search list M；
（3）对于M，M中的每个点m，也在范围r内找到其最邻近的点，对于每一个位于m点附近的点pm，如果pm没有被访问到，则把它保存到T和M中，一旦pm被访问到，则将其从M中删除，直到M为空列表，插入一个空索引来分割T；
（4）反复应用上述K近邻聚类操作，直到标记云中所有点的状态。
（5）将聚类点云根据云中的点数进行排序，以点数小于阈值的聚类视为噪声点云并予以删除。实际中，阈值计算方法：
。其中density（pi，r）是点云的密度。为了提高效率，将参数num设置为10，通过多次数值实验确定，并在点云中随机选择这些num点。
Laplace点云收缩与骨架抓取
![\left [ _{W_{H}^{t}}^{W_{L}^{t}L^{t}} \right ]P^{t+1} = \left [ _{W_{H}^{t}P{t}}^{0} \right ]](http://img.e-com-net.com/image/info8/4d3118eaf15d4d16afb0d3f72541e117.png){kind=small}
这里的P是所处理的点云。
L是用Delaunay邻域点构造的加权余切矩阵；
WL和WH是对角线矩阵，其中WL控制收缩的强度，WH控制原始位置的强度。
这确保了收缩方程的点云沿着估计的法线方向移动。
迭代收缩过程描述如下：
由上述公式求出Pt+1，用下列式子更新WL和WH，Sti和s0i分别是收缩点pi的电流和初始邻域长度。这允许我们获得新的点云Pt+1。接下来，利用新的点云Pt+1重建拉普拉斯矩阵Lt+1。迭代终止条件为
。
利用上述拉普拉斯收缩法，玉米植株的点云收缩成骨架形状。然而，即使形状发生了改变，点的数量也保持不变。
适应性采样
对点云中骨架的关键点进行自适应的采样和识别。为了保持分支的几何特征，在交叉点和分支（叶和茎）采用了不同的球面半径采样技术。采样球的半径比分支小。为了确定点v是否位于交叉点，引入点v的方向性度l(v)来描述当前点的线性趋势(Suetal.，2011)。
这个方向性度l(v)是利用采样球体的3×3协方差矩阵C：
其中v1，…vk是p的局部∈邻域；v是p的邻域的质心，即v=1k∈i∈kvi。Vl是矩阵C的特征向量，是矩阵C的特征值。假设λ0≤λ1≤λ2。l(v)越接近1，λ0和λ1与λ2的比较就越小；因此，v周围的点越多，就沿着一个分支对齐。
实验表明，l(v)在交叉点大于0.9，否则。经过自适应采样处理后，将收缩点云简化为骨架关键点，得到的骨架具有稀疏的点数。如图6所示，经过自适应采样结果，且所得到的结果与原始点云相匹配后，得到的采样精度较好。
骨架点的链接
利用遗传算法估计玉米植株的表型性状提取骨架曲线，语义连接关键点有待定。提取的骨架中的每个关键点都具有最多有三个相邻点，因为玉米植株有单支结构。因此，如果三个最近的邻居如果点是连接的，骨架最终将成为无向的有向图。
如图7A、8A所示，可能会出现两种类型的闭合连接环路错误：（1）三角形闭合连接环路(图7B)或（2）多边形闭合连接环路。玉米植株的骨架具有附近点近似共面，并向生长方向呈收敛性的特征。
因此，构建了玉米植株形态结构的约束模型，并应用连接权方程来打破闭环：
Ws和Wc分别是近似共面权和边缘的生长权。
对于近似的共面权值，使用最小二乘算法对闭环节点进行拟合。（10）
以每个点到平面的最小距离作为求解拟合平面的约束条件，a、b、c、d为平面方程的参数。
边的共面权值是从两个不动点到拟合平面的距离之和。（11）
为了确定生长权值，我们计算了该边缘与其相邻的两个边缘在生长方向上的夹角。（12）
为了保证比较权重时相等，我们重新调整并标准化的权重。随后，为了获得每个连接边的权值，我们将该边与权重最大的边断开(如图7D所示)。（8）
经过如上所述的闭环搜索和处理，得到了作为树状结构连接的玉米植株的骨架，如图8B所示。而且植物的骨架很容易被骨架中的三个连接点分割成叶和茎的骨架节点。分割后的结果如图8C所示。
骨架点校准
用上述方法提取的玉米植株的骨架包含了许多弯曲的部分，特别是在茎附近的部分，在那里的骨架应该是线性直线的。这严重影响了对表型性状的进一步估计。具体存在问题如图九所示，所以，使用重采样策略，对骨架进行校准。
（1）茎骨架校准
在执行拉普拉斯收缩算法时，由于相邻叶片的吸引，产生了提取的茎骨架的弯曲点。然而，这只影响附近的点，而远离叶片的茎节不受影响。因此，茎的骨架是使用茎的未受影响的点进行校准的。根据“茎骨架校准”一节中对茎和叶的分割和识别，将叶片生长点定义为叶片与相邻茎的相互作用点。叶片的生长点将整个茎分成几个部分。对于每个茎段，之前过程中提取的茎点，除了考虑的茎段两端的叶片生长点，用于根据最小二乘距离拟合直线段。最后，将当前杆段上所有提取的骨架点投影到新的拟合线段上，并进行校准，如图10A所示。
（2）叶子
为了校准骨架点沿静脉偏差(如图10B所示)，特别是通常位于叶片最高位置之间的弯曲弧，我们取样和校准骨架的所有偏差点从叶片基地向切向方向开始。首先，通过相邻的静脉骨架点p1和p2构造切线→p=p1p2 。然后，垂直于→p通过p2的切割平面α(图10C)与叶片的原始点云作为交集集相互作用(图10D)。该集合的中心点是p2的校准点，位于静脉曲线上/附近。叶尖过度收缩的问题也得到了同样的解决。而这里的切削面是以一定的长度间隔构造的，并且在这个平面上最合适的点被确定为叶尖。如图10E所示，我们继续向前向切割平面移动，直到整个切割点云为空，并校准静脉骨架。
算法实现
该算法是在VC++2010开发平台上使用OpenGL图形库和点云库实现的。该算法被集成到PlantCAD_Maize软件中，这是我们正式的植物建模软件PlantCAD之一(Luetal.，2014)。该算法运行在一个桌面工作站上，配置了核心i5处理器和4GB内存。
可视化结果
选取不同品种和生长阶段的玉米植株，对算法进行性能评价。
图11显示了该方法处理的5个可视化结果，包括3个生长阶段和3个不同的玉米植株品种。
图12显示了在不同的视图角度下的两个对应的匹配可视化。提取的骨架与原始点云的匹配结果表明，该算法具有良好的性能和适应性，该方法对不同植物尺寸和不同类型植物是可行的。
利用提取的骨架进行表型性状的准确性分析
图14显示了从点云中提取的骨骼之间的6个估计表型参数（叶长、叶倾斜角、叶顶长、叶方位角、叶位置高度、株高）与同六种植物的三维数字化数据的比较。株高的平均归一化根均方误差(NRMSE)最小，为0.83%，叶片倾角的NRMSE最大，为8.37%。所有表型参数的r2均在0.93以上，表明所提取的骨架与测量数据之间的估计表型性状具有较高的一致性。特别是，大多数植物的株高可以直接通过点云计算得到。然而，一些植株的数量在下降，对这些株高的计算也不那么准确。因此，植物骨架化步骤，包括茎部方向的校准，将有望得到一个更令人满意的株高估计结果。
我们还将所提出的算法与之前的constrained Laplacian smoothing(CLS)点云收缩算法进行了比较(Suetal.，2011)。利用耳叶将3个品种的植株分为上下两层，并估算了两层的5个表型参数。
由图15可知，当样本点的数量保持在1万个点左右时，骨架的形状和结构仍然保持了很好的近似效果。因此，我们选择了1万个点作为该方法的一个玉米植株的最优采样数。
图16说明了算法消耗的时间随着点云大小的增加而增加，而叶片长度、叶片倾角和叶片方位角的RMSE变小。与CLS算法相比，本文的方法并没有显著增加时间消耗
Discussion
本文所提方法的局限性
（1）由于点云的三维分辨率与大多数植物器官不同，因此提取的雄穗和雌穗的骨骼并不令人满意。一些分支不会被提取到，只留下了主茎。而雌穗总是被整合到耳叶的骨架中。当雄穗和雌耳的点云密度和准确性提高时，可以解决这一问题。
（2）玉米植物的上部叶子通常是紧凑或不完全展开，这使得在点云里很难完全从把树叶和茎分离开，和紧凑的结构会使叶子和茎相互遮挡，导致点的缺失，这些原因使得高层的叶子的错误率总是会高于低层的叶子（见表1）。
（3）该方法不适用于风速大于2m/s时的室外和现场数据采集。风的存在会产生噪声，严重影响所获得数据的质量，降低所提取的骨架的精度，特别是在叶片和杆的交叉处。在野外条件下没有风和稳定辐射的情况下，目标植物必须足够稀疏才能进行扫描，以避免相邻植物的交叉和遮挡，从而减少点的噪声和不足。在这种情况下，获得的三维点云将是令人满意的，并将在室内提取相同的骨架。因此，我们未来的工作将改进这种方法，使玉米植株的粗点云更稳健和有效。
Conclusion
本文提出了一种从三维点云中提取玉米植株骨架的方法。对玉米输入点云依次进行点云去噪、拉普拉斯点云压缩、自适应采样、骨架点连接和骨架曲线校正五个过程。从而得到一个语义和准确的玉米植物骨架。根据提取的骨骼，可以计算出植物和器官尺度的表型参数。利用该方法对玉米植株不同品种和生长阶段进行的实验表明，提取的骨架与原始点云高度一致。该算法的完整处理一株玉米植株只需要不到100秒。该过程是强有力、准确和高效的。因此，该算法可为玉米表型数据处理和分析自动工具的开发提供技术支持。