现有的图像三维重建技术介绍和比较

转自：https://blog.csdn.net/dream_tingness/article/details/40356617?utm_source=blogxgwz0

图像三维重建技术简介

广义上，三维重建是指对某些三维物体或者三维的场景的一种恢复和重构，重建出来的模型，方便计算机表示和处理。实际上，三维重建是对三位物体或者场景图像描述的一种逆过程，由二维的图像还原出三维的立体物体或者场景。因此三维重建技术是在计算机中建立表达客观世界的虚拟现实的关键技术。三维重建是指根据基于一个视图或者多个视图所获得的物体或者场景的图像重建三维模型的过程。由于单视图的信息很单一,因此三维重建需要更复杂的算法和过程。相比之下，多视图的三维重建(模仿人类观察世界的方式)就比较容易实现,其方法是先对摄像机进行标定,即计算出摄像机的图像坐标系与世界坐标系的关系.然后利用多个二维图像中的信息重建出三维信息。

基于图像的三维重建是从若干幅图片计算提取出场景和物体的三维深度信息，根据获取的三维深度信息，重构出具备很强真实感的物体或者场景的三维模型的方法。该方法是涉及到多个热门领域，比如涉及到计算机图像处理、计算机图形学、计算机视觉和计算机辅助设计等很多的领域。目前，基于图像的三维重建技术已经成为一个极具潜力的热门领域，在诸多方面有着很重要的应用，比如，电子商务，航天飞行，遥感测绘，虚拟博物馆等高科技领域。与传统的建模方式，例如利用建模软件（3D Max，AutoCAD等等类似的建模软件）以及使用三维扫描仪扫描物体，从而得到立体模型的方法相比，基于图像三维重建的方法成本低廉，真实感强，自动化程度高，因而具有广泛的应用前景。此外，从理论上说基于图像三维重建实际上是计算机图形学的逆向问题。如何根据受干扰或者不完整的二维信息来恢复三维信息是这项技术的一大难点，也是计算机视觉的一大难点。对基于图像重建技术的深入研究可以促进对这些问题的理解和研究，推动相关学科的发展。

三维图像重建技术的发展现状

基于图像的三维重建技术是计算机辅助设计（CAD）与计算机图形学中很重要的一个研究领域。三维重建是根据物体或者场景所拍摄的两个或者两个以上二维的图像，由计算机自动进行计算和匹配，计算出物体或者场景的二维的几何信息和深度信息，并建立三维的立体模型的过程。

通常意义上所说的基于图像的三维建模是利用图像来恢复物体的几何模型，图像包括真实的照片、绘制图像、视频图像以及深度图像等。而广义的基于图像建模技术还包括从图像中恢复出物体的外观特性、光照环境以及运动学特征等很多属性，其中的外观特征包括表面的纹理贴图和反射属性等决定所重建模型的外观效果的因素。基于图像建模技术的实现需要依靠基于图像的绘制技术，基于图像绘制技术可以在没有任何三维几何信息或者少量几何信息的情况下，只需要依据若干幅对于某个三维物体或者场景原始图像就可以绘制出该三维物体或者场景的新视点图像。

目前国内外对基于图像的三维重建技术这一热点技术有很多的研究，已经有很多成果和进展，主要是对特征检测、特征匹配、摄像机标定几个部分进行研究。有很多的基于图像的三维重建软件。国外研究现状：

1. Paul E.Debevec——参数几何体表示初始模型

2. Steven M.Seitz——颜色不变量、顺序可见性规 则重建场景模型

3. Roberto cipolla——三维重建系统PhotoBuilder

国内研究现状：

1. 北京交通大学的袁保宗提出了，由真实世界到计算机虚拟世界的转换问题。

2. 浙江大学的刘刚设计了，一个能绘制出几何模型和表面纹理的真实场景交互建模系统。

3. 中科院自动化研究所，开发的CVSuite，能利用立体视觉进行三维重建。

4. 上海交大马利庄提出了一种基于构建Visual Hull，求取物体形状及表面反射属性的方法。

现有的图像三维重建技术方法分析

基于图像的三维重建技术的实质就是利用照像设备或者录像设备采集的、对显示三维场景或者物体离散的二维图像作为基础数据，经过处理得到场景或者物体的三维数据信息，从而生成真实的场景或者物体，然后通过合适的空间模型把全景图像组织为虚拟的实景空间，用户在这个空间中可以前进、后退、环视、近看、远看等操作，实现用户全方位观察三维场景的效果，采用这种建模技术可以实现普通计算机上的真实感图形绘制。

有人提出将基于图像重建几何模型分为：基于单幅图像重建几何模型，采用立体视觉方法重建几何模型，基于侧影轮廓线重建几何模型，基于深度图像重建几何模型。
单幅图像的三维重建

目前，基于单幅图像三维重建最广泛和最实用的方法利用几何投影的原理进行重建。每一幅图像中含有的大量平行线、平行面、垂直线、垂直面、消失点、消失线等多种几何属性的约束，利用图像的这些几何约束进行摄像机标定或平面标定。进而估算出摄像机的内部各种参数、摄像机的焦距； 然后通过测量目标的几何形状或计算目标高度来估算出必需的深度信息; 最后利用几何投影知识等对图像进行数字化的表述，构建数字化的三维模型，将得到的模型绘制出来，这就是整个的基于单幅图像的三维重建过程。

立体视觉的三维重建

立体视觉的基本原理是从两个或者多个视点观察同一景物，已获得在多个不同的视角下对景物的多张感知图像，运用三角测量的基本原理计算图像像素间位置偏差，获得景物的三维深度信息，这一个过程与人类观察外面的世界的过程是一样的。要建立完整的一个双目立体视觉系统通常大致需要经过6个步骤，分别是获得图像、标定摄像机、提取特征、立体匹配、模型重建等。

立体视觉的三维重建方法直接模拟人类视觉处理景物的方式，可以在多种条件下灵活地测量景物的立体信息。其作用是其它计算机视觉方法所不能取代的，对它的研究，无论是在视觉生理的角度还是在工程应用的角度都具有十分重要的意义。

侧影轮廓线三维重建

此类方法是使用一系列物体的轮廓线条构成三维形体。当物体的部分表面无法在轮廓联机展现时，重建后将丢失三维信息。常见的方式是将待测物放置于电动转盘上，每次旋转一小角度后拍摄其图像，再经由图像处理技巧去除背景并取出轮廓线条，搜集各角度之轮廓线后即可“刻画”成三维模型。

深度图像三维重建

一般的通过激光扫描仪进行一次扫描得到的是一组二维有序的点阵，其中每一点包含了相应的场景上被扫描点的距离信息，这个点阵被称为深度图像。为了获得完整的场景，往往需要从几个不同的位置对目标场景进行扫描而得到的不同的深度图像则需要匹配到一个坐标系下。通过深度图像获得场景的数据，对点云数据进行基于平面的分割，提取平面特征实现三维场景的重现。

这个方法通常适用于室内或者室外较大型的场景，因为这类场景具有一个重要的典型特征，那就是场景之中含有大量的平面，通过这些平面可以获得建模所需要的大量数据。

图像三维重建技术的优缺点

对于一个基于图像的三维重建系统来说，漫游效果和处理时间独立于场景复杂度，只与所产生的画面分辨率有关、与场景复杂度无关。另外，预先存储的图像既可以是计算机生成的，也可以是实际拍摄的照片，而且两者可以混用；真实感强，相比于见面得到的虚拟现实效果，更真实可信，更能让人产生身处其中的感觉；最后，因为基于图像的三维重建技术数据量小，所以这种方法对于计算机的硬件，没有很高的要求，实用性更好。

基于图像建模技术必须先要获得若干幅基于真实的三维物体或者场景的真实感知的图像，因此存在很多的缺陷是无法能够避免的。首先，当要重建真实场景不能够获取到真实感知的图像时，比如物体或者场景根本不存在，是虚构的出来的，又或者场景处于设计规划阶段时，是在时刻变化的，就不能使用基于图像建模技术。其次，由于场景中的物体都变成了图像中的二维对象，因此用户很难与这些二维图形对象进行交互，获取所需要的信息；另外对照相机与摄影设备有一定的要求，这是获得真实的感知图像的需要。同时这些大量的图像文件也需要足够的存储空间来保存。

总之，基于图像的三维重建技术具有快速、简便、逼真的优点，能较好的实现现实事物的虚拟化，该方法尤其适合那些难以用CAD的方法建立真实感模型的自然环境，以及需要真实重现环境原有风貌的应用。