论文《Depth acquisition with the combination of structured light and deep learning stereo matching》学习

2019 二区

摘要

        结构光和深度学习方法被广泛应用于人工视觉中，以获取真实场景的深度地图。本文提出了一种结合结构光和深度学习立体匹配的深度计算方法。为了解决立体匹配中无纹理区域的问题，采用一对具有丰富结构光信息的左右两侧图像，由无监督CNN网络获取粗深度图。粗深度图用于相位展开，是基于相位的结构光方法的瓶颈。然后，通过相位匹配得到精细、准确的深度图。与传统的结构光方法相比，该方法在遮挡和无纹理区域具有更好的性能。为了评价该方法的性能，建立了实验平台，并进行了多次实验。定量和定性实验表明，该方法能够产生高精度的深度，并在结构光系统中消除遮挡。

关键词：深度感知，深度学习，结构光，相位展开

1. Introduction

        三维几何重构在机器人技术、人机交互、工业自动化、虚拟现实等领域有着广泛的应用。深度采集作为三维重建的核心内容，近年来得到了广泛的研究。计算摄影作为一种传感技术，可以提高真实场景的高维信息捕获性能。在现有的方法中，ToF[1]、结构化光[2]和立体匹配方法[3]得到了广泛的应用。

        立体匹配是一种从多台相机[4]中提取深度的技术。通过从这些相机不同角度捕捉多个图像，通过匹配对之间的差异获得深度。一般来说，有两种匹配策略。一种称为局部对应法，另一种称为全局对应法[5]。前者通过block-matching[6]和基于梯度的优化[7]等子方法，倾向于在有限的窗口内或通过灰度、颜色等特征搜索对应的像素。该方法计算量小，效率高。然而，当处理大的、无纹理的区域和遮挡边界时，它会受到限制。全局方法包括置信度传播[8]、动态规划[9]和图割[10]等方法，将两幅图像的匹配作为一个优化问题。该方法利用非局部特征，与局部方法相比，取得了更好的性能。深度学习法是近年来一个重要