Fast and Accurate Plane Segmentation in Depth Maps for Indoor Scenes

Fast and Accurate Plane Segmentation in Depth Maps for Indoor Scenes

1、Depth based edge extraction （DS）

阶梯边缘检测是一种快速的深度图像分割方法，计算简单。原始的工作通过平滑的二阶多项式和后续的一阶或二阶导数的计算，使用局部图像逼近实现阶梯边缘检测器。
我们只使用0和1来加快这个过程。
由于Kinect深度图像存在较大的结构噪声，仍然需要模拟二阶多项式的平滑能力。这是通过考虑邻域和以下公式计算提取的边的值来实现的:：

其中$t$是指定阶梯边的阈值深度差，$W$是相邻像素的窗口，$d$是像素$x$处的深度信息。
生成一个梯度图，用像素表示边缘的陡度，作为输出。

2、Normal based edge extraction (NS)

法向量直接计算(使用深度差或最小二乘拟合)，只考虑法向量差。第i个边缘梯度图像像素值计算为:

其中$n$是与深度图像中指定的相邻的像素法向量(归一化)。

3、Fusion based edge extraction (FS)

利用基于深度和基于法线的分割方法的输出，可以应用后期融合产生准确和稳定的结果。
基于深度和基于法线的边缘提取器都利用了二进制累加器。由于我们的分割算法基于分水岭方法(见下文)，两个输出的简单和提供了一个健壮的组合。一个必要条件是在输入法中使用相同的内核大小。然后输出由一个线性组合给出:

其中$w_N$和$w_D$是合适的权重。在我们的实验中，将它们设为1以保持有序计算。

Watershed segmentation

在基于融合的边缘提取中使用的线性组合可以显著地变形边缘强度。分水岭分割的概念可以用梯度图像与地球表面的相似性来解释。当它从区域极小值不断被淹没，两个流域即将合并时，一个“大坝”将两个流域分隔开来。
我们通过实现一个简单的最小搜索算法来适应分割技术。分割的输入是一个边缘强度梯度图像(值由整数表示)，我们简单地将每个盆地视为值小于阈值的连接点的并集。
在整数表示的边缘梯度图像中，该技术已被证明是可靠的。阈值可以设置为接近零，因为边缘提取技术通常对非边缘区域不敏感。

4、Plane prediction segmentation (PS)

基于检测局部梯度,该方法得益于一个先验假设，即场景中的大多数重要对象(要检测的对象)是人为制造的。它们被假定是平面的表面，或者可以近似于平面。
计算两个梯度图像:

其中$d$为指定像素的真实深度，$p$为像素的理论预测深度，计算方法如下:

$c$定义具有指定梯度的中心点，$p(x,c)$为点$x$从点$c$利用其梯度预测的理论深度，$f_c$(式5)为当前窗口中的检测过程变化次数。
在公式4中，变化定义为阈值分割的差异，例如，如果当前像素已经达到1，前面的像素已经达到0，则出现变化。
该值用于识别当前区域—大量的变化表示平面噪声区域。此值还可以用于统计区域合并。结果表示为一个整数边缘梯度图像，因此很容易应用所述的分水岭分割方法获得所需的区域地图。

5、Tiled RANSAC segmentation (RS)

为了解决RANSAC搜索的大量计算成本，我们必须为平面搜索开发一个特定的算法，它只考虑场景的小区域。
一个深度图像被正方形的瓦片覆盖，这只定义了一个小的RANSAC搜索区域，但足够大的区域可以从噪声图像中进行鲁棒的平面估计。
该算法如图2所示。

在步骤2.1中，使用RANSAC在当前贴图中查找现有平面。这意味着从尚未分割的像素中随机搜索候选平面。如果一个平面有所有三个定义点连接，即在三角形平面上所有三个三角形顶点之间有像素，则该平面被找到。
如果找到了一个平面，种子填充算法将对当前贴图(2.2.1)中所有连接的平面点进行分组。种子填充速度快，只在检测到的平面上执行。每个像素只被播种一次。
最后一步(2.2.2)填充到达边界区域的其余深度图。这将区域分散到贴图之外，并防止创建可能由贴图搜索产生的工件。如果找到了一个大的平面，这个步骤还通过预填充区域减少2.1后续迭代中搜索的瓷砖数量。填充贴图边界以外区域的能力确保了识别的平面在整个深度图像中被标记。