论文解读｜结构光成像技术

 原创 | 文 BFT机器人

01

全帧空间变化的颜色模式

顺序投影技术的主要缺点包括无法获取动态运动中的3D物体或活体物体（如人体部位）。我们现在提出了几种单镜头三维表面成像技术，这些技术利用了投影模式中的颜色信息或独特的编码方案，只需要在彩色模式照明下获得一幅物体图像，就可以获得场景中每个可见点的（x，y，z）坐标的全帧3D图像。

图1 彩虹3D相机

1.1彩虹3D相机

传统的立体图像必须从一对立体图像中提取相应的特征来计算深度值，而彩虹3D相机则不同，它将空间变化的波长照明投射到物体表面。彩虹光投影仪的固定几何形状在光平面的投影角度θ与特定光谱波长λ之间建立了一对一的对应关系，从而在每个表面点上提供易于识别的地标。在已知基线B和已知视角α的情况下，可以使用简单的三角测量原理计算每个像素对应的三维距离值，并以相机的帧速率（30帧/秒或更快）在单次快照中获得全帧的三维距离图像。

图2 一种连续变化的颜色编码方案:三种加性原色锯齿

1.2 连续变化颜色编码

可以组合各种连续变化的颜色图案来编码空间位置信息。例如，我们可以为投影仪的每个颜色通道构建一个强度变化模式，这样，当将单个颜色通道中的这些模式加在一起时，就形成了一个连续变化的颜色模式。

图2显示了三个加性原色通道的强度变化模式的示例。当它们加在一起时，就形成了彩虹状的彩色投影图案。请注意，这种类型的颜色图案不一定遵循彩色光谱（波长）的线性变化关系。然而，由于每个颜色通道的贡献比例是已知的，解码方案很容易推导和实现。

02

条带索引（单次）

条纹索引对于实现稳健的三维表面重建是必要的，因为观察条纹的顺序不一定与条纹投影的顺序相同。这是由于基于三角剖分的三维表面成像系统存在固有的视差，并且由于物体三维表面特征的遮挡，所获取的图像可能会丢失条纹。我们现在提出了一些有代表性的条带索引技术。

2.1 使用颜色的条带索引

彩色图像传感器通常有三个独立的采集通道，每个通道对应一个频谱带。这些颜色分量的值的线性组合可以产生无限数量的颜色。三个8位通道可以表示224种不同的颜色。如此丰富的彩色信息可用于提高三维成像精度和减少采集时间。

例如，在投影模式中使用颜色进行条纹索引（图3）可以帮助缓解使用单色模式的相移或多条纹技术所面临的歧义问题。这种彩色编码系统可以实现实时三维表面成像能力。

还可以将多个图案编码为单个彩色投影图像，每个图案在颜色空间中具有唯一的颜色值。为了降低解码错误率，可以选择一个颜色集，其中每个颜色与集合中任何其他颜色的距离最大。该集合中的最大颜色数被限制为在获取的图像中产生最小串扰的颜色之间的距离。

图3 使用颜色的条带索引

2.2 使用分段模式的分条索引

为了区分不同的条纹，可以在每个条纹中添加一些独特的片段模式（图4），以便在进行三维重建时，算法可以使用每个条纹的独特片段模式来区分它们。

【2】中提出的这种索引方法很有趣，也很聪明，但它只适用于表面光滑连续的三维物体，当表面形状造成的图案畸变不严重时。否则，由于图案的变形和/或物体表面的不连续，可能很难恢复唯一的片段图案。

图4 使用分段模式的条带索引

2.3 使用重复灰度模式的条纹索引

如果使用两个以上的强度级别，则可以安排条纹的强度级别，使任何一组条纹（N条的滑动窗口）在一段长度内具有唯一的强度模式。例如，如果使用三个灰度级（黑色、灰色和白色），则可以将图案设计为（图5）

图5 使用重复灰度模式的条纹索引

模式匹配过程从获得的图像强度与投影强度模式的相关性开始。一旦找到匹配项，就对次灰度级序列匹配执行进一步搜索，例如三字母序列WGB、GWB等。

2.4 基于De Bruijn序列的条带索引

在大小为k的字母表上，秩为n的De Bruijn序列是一个循环单词，其中长度为n的kn个单词中的每一个在我们沿着循环行进时恰好出现一次。

图6所示为n = 3, k = 2（字母为{0,1}）的德布鲁因圆的简单示例。当我们沿着这个循环（顺时针或逆时针）运行时，我们将会遇到23 = 8个三位数模式000、001、010、011、100、101、110、111中的每一个恰好一次。

序列中没有重复的三位数模式。换句话说，没有子序列与De Bruijn序列中的任何子序列相关。De Bruijn序列的这一独特特征可用于构建具有独特的局部变异模式且不重复的条纹模式序列。这种唯一性使得模式解码变得更容易。与De Bruijn序列相关联的图称为De Bruijn图。

图6 德布鲁因序列的一个简单例子

现在展示一个使用（R, G, B）颜色的二进制组合来生成基于De Bruijn序列的颜色索引条纹的例子。

三种颜色的最大组合数是8（=23）。因为不打算使用（0,0,0），所以只有七种可能的颜色。

这个问题可以通过构造一个k = 7, n = 3的De Bruijn序列来解决。这就得到了一个343条条纹的序列。如果条纹数过多，可以通过设置k = 5，n = 3来使用De Bruijn序列的约简集。在这种情况下，条纹的数量减少到125。

在使用De Bruijn技术构造颜色索引条纹序列时，有一个重要的约束条件：所有相邻的条纹必须具有不同的颜色。否则，会出现两倍或三倍宽度的条纹，使三维重建算法混乱。可以通过使用异或操作符轻松地应用此约束。

图7显示了一组具有实际颜色索引条纹模式的结果。在这个条纹序列中，所有相邻的条纹都有不同的颜色。De Bruijn技术实现的各种变体可用于生成独特的颜色索引，灰度索引或其他类型的3D表面成像应用投影模式。

图7 基于De Bruijn序列(k = 5, n = 3)的色条索引示例

参考文献：

[1] Geng J .Structured-light 3D surface imaging: atutorial[J].Advances in Optics & Photonics, 2011, 3(2):128-160.DOI:10.1364/AOP.3.000128.

[2] M. Maruyama and S. Abe, “Range sensing by projecting multiple slits with random cuts,” IEEE Trans. Pattern Anal. Mach. Intell. 15(6), 647–651 (1993)

更多精彩内容请关注公众号：BFT机器人

本文为原创文章，版权归BFT机器人所有，如需转载请与我们联系。若您对该文章内容有任何疑问，请与我们联系，将及时回应。