为什么要研究《双目结构光》？

双目结构光的研究背景与意义

为了贯彻“中国制造 2025”提出的“质量为先”指导方针，越来越多的制造型企业希望通过引进先进的工业三维测量技术和手段实现产品的全尺寸在线精确测量，完成精细化、智能化、数字化的管理。目前在制造业中采用的三维重建和三维测量方法较多，主要可以分为接触式测量和非接触测量。传统测量方法大多为接触式测量，如三坐标测量机。三坐标测量机在机械、电子、仪表等行业被广泛使用，其具有重复性好、测量精度高等优点。但三坐标测量机测量需要根据不同被测物适配不同的测量头，并且设备昂贵且测量效率相对较低。非接触式测量方法主要分为被动测量法和主动测量法，被动测量主要是立体视觉法，而主动测量方法包括结构光法、飞行时间法等。非接触式测量方法中能够满足工业测量精度要求主要为结构光法，其具有测量速度快、精度高等优点，并且在三维测量领域中具有广阔前景。

国外像美、德、日等发达国家的机器视觉公司垄断了三维视觉测量的核心技术，形成了完备的产业链和布局，三维视觉测量产品的精度、效率、稳定性都处于世界领先水平，可以满足工业产品高速、高精度测量的要求。国内对三维视觉测量技术的研究相对滞后，大多停留在实验室水平，难以满足工业现场测量的需求，在许多高端应用领域仍然依赖价格昂贵的进口设备。因此对结构光三维重建技术进行性能优化、提高重建精度具有重要研究意义。

结构光三维重建技术主要通过数字投影仪或光栅衍射器等设备，向被测物体主动投射具有一定编码信息的图案，通过相机采集图像，再根据三角测量原理恢复出被测物体的三维形貌。基于结构光的三维测量系统有单目和双目两种。单目测量系统中包含了一个相机和一个投影仪，在使用时首先需要对投影仪进行标定，该过程十分复杂，对系统环境和成像质量要求高，且非常容易受到环境中其它因素的干扰，边缘提取的成功率和三维重建的精度都不高，数字投影仪标定方法大多采用逆相机原理标定，其标定精度依赖于系统中相机的标定精度，因此投影仪的标定精度一般低于相机的标定精度。同时投影仪的光学元器件的质量也低于工业相机的质量。如果三维重建过程中可以避免使用投影仪的标定参数，那么三维重建的精度将进一步提升。双目结构光测量系统包含了两个相机和一个投影仪，该测量方法是传统的双目视觉测量技术的改进和延伸，它既有双目视觉测量方面的理论基础，可以省去对投影仪复杂的标定，又有结构光来增加物体表面的几何特征信息，能够避免双目立体视觉中对弱纹理或重复纹理区域匹配困难的问题，从而较传统的双目视觉测量方法有更高的测量精度。

对结构光和双目视觉相结合的三维测量系统进行研究，不仅可以提高自动化行业的测量效率，逐步取代传统测量设备，还可以促进生物医学、工业制造、逆向工程、产品检验、文物保护等领域的发展，因此对结构光三维测量系统进行研究具有广阔的应用前景和深远的研究意义。

国内外研究现状

结构光三维测量是一种主动式三维测量技术，其特点是采用主动光源，如点光源、线光源和面光源等投射到待测物体表面，然后由采集得到图像计算出物体的三维数据。对于面光源的结构光，其投射光源具有一定编码的二维图案，数据采集通常由相机完成，所以面结构光测量过程中获取数据速度比其它方式更快，使得计算效率大大提高，因此得到了广泛应用。结构光的测量方式多种多样，Salvi 和Pages 等依据投影编码图案对结构光进行分类，主要包括：基于时间编码、基于空间邻域编码、直接编码三大类。

时间编码是将投影图像按一定的先后顺序编码，然后向被测物体投影多幅序列图案，再完成所有投影图案采集之前，投影仪、相机及被测物体都需要保持相对静态。时间编码中条纹光栅大多采用格雷编码和相位测量轮廓术，1891 年，Posdamer 等人首次提出二值编码，将 m 幅图案中每幅生成$2^m$个二值条纹，分别对应二进制编码 0 和 1，最后产生一张投影图片使得每个条纹包含对应的二进制序列。Inokuchi 等之后又利用格雷码改进了之前的编码方式，格雷编码属于一种二值编码方法，由于格雷码的相邻码之间只存在一位字码差异，所以其误码率相对较低，但格雷码条纹解码误差会随着条纹光栅宽度的减小而增大，因此需要保证条纹宽度大于相机采集图像的一个像素宽度，进而测量的分辨率将受到影响。Furukawa 等又通过投影横纵复合格雷码实现点与点之间的对应，提高了分辨率，之后研究主要围绕减小解码误差和提高采样密度两个方面。相移法中相位测量轮廓术应用广泛，其实现过程是通过相移干涉原理，将相位信息包裹在一系列不同频率和相位差的正弦光栅图案中。然后采集由深度变化而引起的相位的变化图像，再通过一定解相算法计算出物体表面的对应的绝对相位，最终恢复出被测物体的三维信息。1986 年，Breuckmann 将相移干涉法引入三维测量中，诞生了相位轮廓术。Schwider 提出相移的改进方法，Zhang Song 等在相移结构光的测量精度和速度方面做了深入研究，在国内许多研究人员对相位测量轮廓术的研究也集中在解相位和相位误差补偿两个方向。

空间编码就是利用图像周围的特征点，通过特征匹配将物体表面的三维信息恢复出来，空间编码主要有非正式编码、De Bruijn 编码和 M 阵列编码。早期 Boyer设计非正式编码的彩色编码网格图案，提高结构光测量的精度和速度。 Chen又采用彩色编码图案与立体视觉结合的结构光方法，从而避免寻找光源彩色条纹和图像之间的对应关系，并且该方法为双目结构光奠定了基础。Koninckx 又提出自适应的空间编码结构光，以获得实时的三维测量。De Bruijn 编码则是将 n个不同的字符排成 nm 的字符序列，如果长度为 m 的子串只出现一次，则该序列称为 n 个符号的 m 次 De Bruijn 序列，该序列可以通过哈密顿圈和欧拉圈进行搜索，同时 De Bruijn 序列产生的结构光图案具有很好的伪随机性。Monks 提出一种基于 De Bruijn 序列的多缝投影图案，通过建立图表进行解码，实现面部嘴型的重建。M 阵列编码与 De Bruijn 序列编码类似，具有窗口的唯一性，M 阵列编码是通过一个 q 元 r×v、窗口为 m×n 的阵列。基于空间编码的方法通常仅需投影一张图案即可进行深度计算，因此在快速三维测量中应用非常广泛。

直接编码就是将投影图案的每个像素点进行编码，使得每个像素点都具备其唯一的字码信息，该方法必须引入周期性或颜色值。但由于测量距离对噪声的敏感性很高，该方法具有局限于非动态、单一色彩物体的三维测量中。Hung 使用正弦周期变化的图案进行改进之前的楔形变化图案，Chazan 提出多幅锯齿周期变化的投影图案；Wong 设计一种利用纹理图和特征图进行编码，使得投影图像减少到两幅。

随着结构光三维测量技术不断发展，实际应用价值不断提高。在工业测量领域中，上世纪九十年代，Dr.Steinbichler、Dr.Wolf 以及 Reinhold Ritter 教授等分别成立了Steinbichler GmbH、Dr. Wolf GmbH 和 GOM GmbH 公司标志着结构光测量技
术的产品化。目前国外结构光中代表性的 GOM 公司的 Atos 系列和 FARO 公司的Cobalt 系列结构光三维测量产品广泛应用在汽车、航空和消费品行业中。近年来国内结构光工业产品也不断发展，其中具有代表性的北京天远 OKIO 系列产品也不断涌入激烈的竞争市场之中，如图 1.3 所示，图中(a),(b),©分别表示 FARO、GOM 和北京天远的结构光产品。

娱乐消费领域中激光散斑结构光作为一种空间编码结构光近年来其应用尤为突出，2011 年 6 月，微软发布了 Kinect V1，现早已应用在体感游戏和机器人视觉等领域。2017 年 9 月，苹果公司发布的 iPhone X 中也采用了 PrimeSense 提供的散斑结构光，开启了手机平台上人脸的三维信息测量。国内散斑结构光代表公司奥比中光的 ASTRA 系列也运用在移动设备、3D 人脸识别、机器人视觉等领域，如图 1.4 所示，图中(a),(b),©分别表示苹果公司、微软公司和奥比中光的结构光产品。

结构光的双目视觉技术是一种主动式测量的三维重建技术。将平面光束照射在物体表面形成与原光带不一致的偏转信息，通过解码进行深度信息求解，从而精确快速地获取三维深度信息。投影面结构光，即投影一组平行的结构光，同时将物体置于可旋转任意角度工作台上，分批进行处理不同平面上的三维信息，计算出深度信息和进行匹配融合，能重建物体整体的三维信息。

图 1.5 所示的是一型号为 OKIO-H 的工业级三维扫描仪[23]，采用进口高精密工业 131 万像素 CCD 传感器，适用于航天航空、风电水电等精密装备制造领域。

结构光方法在工业上有重要的应用，例如从传送带上检测工件，工件的逆工
程；在图形建模方面也有重要的应用，如人体建模，包括头部等躯体模型，雕塑物件造型的数字化，实际上三维扫描仪的基本原理也是在结构光方法的基础上进行改造的。投影的编码图案由投影仪投影至物体表面，而后相机进行采集。编码图案是否得当有效，将直接影响三维测量重建的精度和效率。图 1.6 所示的双模手持式三维激光扫描仪[24]极大地简化了三维重建的过程。

Rocchini等人在颜色上做了改变，取代传统结构光的黑白条纹而使用蓝色和绿色的条纹来作为编码图案对待测物体进行投影，通过对绿色条纹的定位来准确的提取出条纹的边界，达到了良好效果。Bergman为了解决格雷码和二值编码方法中周期信号二义性的问题，提出了将格雷码和相移法相结合的编码方法，该方法将格雷码不能细分的区域进行再一次细分，得到了很高的编码精度，并取得了良好的测量效果。为了避免格雷码和相移法相结合的方法中相移法解码困难、易受到光照因素的干扰等缺点。Guehring提出了格雷码和线移法相结合的方法，通过条纹图案的移动来代替正弦周期图案，既简化了编码过程，增强了抗干扰能力，又细分了格雷码未能编码到的区域，取得了良好的效果。
Yang 等将双目视觉系统和结构光测量方法结合到了一起，通过投影仪投射
编码图案，双目相机同时采集投影图像。然后对图像对应点进行匹配，得出待测物
体的三维信息。为了解决 Guhring 方法中存在的错误解码的问题，他们首先研究了
如何高精度的提取条纹的中心位置，然后将格雷码码值和条纹中心位置结合到一
起，得到了更好的鲁棒性和精度。
Koninckx 和 VanGoll将黑白条纹和彩色条纹相结合，提出了一种自适应的编码方法，可根据场景中噪声的大小等信息自动调节黑白条纹和彩色条纹的宽度和密度，但是缺点在于计算复杂性较高，编码密度较大时解码困难。

于晓洋等在深入研究了 Guhring 提出的方法以后，针对格雷码和相移码相结合的编码方法在解码过程中存在的周期错位的问题，提出了相应的解决办法，使得测量精度得到很大的提升，测量误差大大的减小。之后于晓洋等改进了Guhring 方法的投影图案，将线移图案代替相移图案进行投射，重点实现了对线移图案条纹中心高精度的提取，使得测量误差减小到了 0.04%。孙军华利用双目相机和投影仪设计了一个结构光双目视觉测量系统，他将n 值编码方法和相移图案结合到了一起，克服了传统双目视觉系统对物体上弱纹理区域重建效果不佳的缺点，获得了良好的测量精度。

上海交通大学的叶海加通过将编码条纹图案和解相光栅图案投射到物体表面，结合双目视觉系统中存在的几何约束关系，实现了对物体进行三维重建的能力。浙江大学的实验室通过向待测物体表面投射彩色编码结构光，然后对色彩信息进行解码，获得了物体表面的三维信息。关丛荣等的实验结果表明 RGB 颜色的格雷码编码方法和黑白条纹格雷码编码方法相比，测量相对误差从 0.38%减少到了 0.08%。四川大学为了准确的获得条纹中心的位置，将灰度重心法和可变模板结合到了一起，使得条纹中心的提取精度得到很大的提高，增加了重建的精度。

四川大学苏显渝团队对结构光三维测量方法有很深入的研究，提出了基于等效光波概念的三维照相术。东南大学的安东、达鹏飞等提出了一种新的光栅投影三维测量系统模型，用相互平行的正弦光栅条纹投射到参考平面，以便于现场测量，具有很好的实用性。彭翔等人提出了一种基于数字白光投影的 DSP 数字成像系统，该系统根据时序变频条纹投影原理，图像的处理速率可以达到 40FPS。