三维重建综述

三维重建简介

三维重建的意义：三维重建作为环境感知的关键技术之一，可用于自动驾驶、虚拟现实、行为分析等方面，现在每个人都在研究识别，但识别只是计算机视觉的一部分，真正意义上的计算机视觉要超越识别，进行三维环境的感知，我们生活在三维环境中，要做到交互和感知，就必须吧世界恢复到三维。

什么是三维重建：在计算机视觉中，三维重建就是根据单视图或者多视图的图像重建三维信息的过程，也就是相机的逆操作

广义上，三维重建是指对某些三维物体或者三维的场景的一种恢复和重构，重建出来的模型，方便计算机表示和处理。实际上，三维重建是对三位物体或者场景图像描述的一种逆过程，由二维的图像还原出三维的立体物体或者场景。因此三维重建技术是在计算机中建立表达客观世界的虚拟现实的关键技术。三维重建是指根据基于一个视图或者多个视图所获得的物体或者场景的图像重建三维模型的过程。由于单视图的信息很单一,因此三维重建需要更复杂的算法和过程。相比之下，多视图的三维重建(模仿人类观察世界的方式)就比较容易实现,其方法是先对摄像机进行标定,即计算出摄像机的图像坐标系与世界坐标系的关系.然后利用多个二维图像中的信息重建出三维信息。

基于图像的三维重建是从若干幅图片计算提取出场景和物体的三维深度信息，根据获取的三维深度信息，重构出具备很强真实感的物体或者场景的三维模型的方法。该方法是涉及到多个热门领域，比如涉及到计算机图像处理、计算机图形学、计算机视觉和计算机辅助设计等很多的领域。目前，基于图像的三维重建技术已经成为一个极具潜力的热门领域，在诸多方面有着很重要的应用，比如，电子商务，航天飞行，遥感测绘，虚拟博物馆等高科技领域。与传统的建模方式，例如利用建模软件（3D Max，AutoCAD等等类似的建模软件）以及使用三维扫描仪扫描物体，从而得到立体模型的方法相比，基于图像三维重建的方法成本低廉，真实感强，自动化程度高，因而具有广泛的应用前景。此外，从理论上说基于图像三维重建实际上是计算机图形学的逆向问题。如何根据受干扰或者不完整的二维信息来恢复三维信息是这项技术的一大难点，也是计算机视觉的一大难点。对基于图像重建技术的深入研究可以促进对这些问题的理解和研究，推动相关学科的发展。

基于图像的三维重建技术是计算机辅助设计（CAD）与计算机图形学中很重要的一个研究领域。三维重建是根据物体或者场景所拍摄的两个或者两个以上二维的图像，由计算机自动进行计算和匹配，计算出物体或者场景的二维的几何信息和深度信息，并建立三维的立体模型的过程。通常意义上所说的基于图像的三维建模是利用图像来恢复物体的几何模型，图像包括真实的照片、绘制图像、视频图像以及深度图像等
目前国内外对基于图像的三维重建技术这一热点技术有很多的研究，已经有很多成果和进展，主要是对特征检测、特征匹配、摄像机标定几个部分进行研究。有很多的基于图像的三维重建软件。基于图像的三维重建技术具有快速、简便、逼真的优点，能较好的实现现实事物的虚拟化，该方法尤其适合那些难以用CAD的方法建立真实感模型的自然环境，以及需要真实重现环境原有风貌的应用。
背景总结：
基于图像的三维重建技术已经成为一个极具潜力的热门领域，在诸多方面有着很重要的应用，比如，电子商务，航天飞行，遥感测绘，虚拟博物馆等高科技领域。在深度神经网络还没有兴起之前，我们进行物体或场景的三维重建的比较成熟的方法有利用几何投影的原理进行单图像的重建、双目立体视觉法的三维重建和基于深度图像的三维重建。这些方法虽然在一定方面取得了不错的重建效 果，但是依旧有着计算量大，重建效果不好，价格高，自动化程度不高等缺点。
后来随着深度神经网络的发展，许多基于CNN的方法被提出，然而，大多数技术只能生成一个深度值数组，没有平面检测或者分割，达不到的物体或场景重建。因为分段平面深度图的重建需要结构化的几何表示，并且我们不知道要预测的平面数，也不知道在输出特征向量中要回归的平面数顺序，这对深度神经网络也是十分困难的。

双目立体视觉法进行三维重建得总结：
1， 图像获取：双目相机采集左右目图像，获得立体图像对。
2， 摄像机标定：获得相机得内外参数，由双目标定工具得到。用到各种坐标系，世界坐标系、图像坐标系、摄像机坐标系。

3， 图像分割：把目标图像从背景中分离出来，分割之后得结果图形即成为以后特征提取、图像匹配等一系列处理得基础图像。
4， 特征提取：再图像分割得基础上进行左右图像目标区域得特征点或线得提取。
5， 立体匹配：根据提取得特征建立图像对之间得一种一一对应关系，寻找图对之间得视差。
6， 三维重建：计算视差，通过三角测量法计算得到深度信息，再结合摄像机参数得到空间中得三维坐标从而生成三维点云，完成重建。
运算量大，基线（两相机得光心之间得距离）过大时重建效果不好，价格较贵。
多目图像三维重建往往需要相机标定等额外操作, 相比之下基于单幅图像的三维重建 因输入简单, 更适合需要便捷式三维重建的应用场 合, 近年来逐渐成为一个新的学术研究热点问题.
深度图像得三维重建：
深度图像：每个点到深度相机所在的垂直平面的距离值。这个距离值被称为深度值（depth）深度图像可以看做是一副灰度图像，其中图像中每个点的灰度值代表了这个点的深度值，即该点在现实中的位置到相机所在垂直平面的真实距离
一般是通过激光扫描仪进行一次扫描得到的是一组二维有序的点阵，其中每一点包含了相应的场景上被扫描点的距离信息，这个点阵被称为深度图像。为了获得完整的场景，往往需要从几个不同的位置对目标场景进行扫描而得到的不同的深度图像则需要匹配到一个坐标系下。通过深度图像获得场景的数据，对点云数据进行基于平面的分割，提取平面特征实现三维场景的重现。
单幅图像的三维重建
目前，基于单幅图像三维重建最广泛和最实用的方法利用几何投影的原理进行重建。每一幅图像中含有的大量平行线、平行面、垂直线、垂直面、消失点、消失线等多种几何属性的约束，利用图像的这些几何约束进行摄像机标定或平面标定。进而估算出摄像机的内部各种参数、摄像机的焦距； 然后通过测量目标的几何形状或计算目标高度来估算出必需的深度信息; 最后利用几何投影知识等对图像进行数字化的表述，构建数字化的三维模型，将得到的模型绘制出来，这就是整个的基于单幅图像的三维重建过程。
自动化程度低，步骤繁琐，误差大

单幅图像的三维重建的几个挑战：1、真实世界视图中的物体往往存在遮挡、非刚性变形等现象，对算法要求高。2、不适定问题，单幅图的输入信息太少，深度信息不可避免的丢失，需要给定一些先验知识或假设，如何提供最小的假设先验是一个挑战