基于图像的三维重建系统概览

前言

从2维图像重建3维立体具有重要的研究价值和潜在经济社会价值，其核心技术是图像的密集匹配，从最早的70年代摄影测量领域开始研究图像匹配，至今已有近半个世纪的时间。可以这样说，该问题的研究基础奠定于2000年之前摄影测量人的工作，而真正快速发展是主要得益于最近十几年计算机视觉领域的刺激和贡献。时至今日，世界一流的三维重建系统已经可以全自动地恢复实景三维场景，也可以实现物体的高精度三维建模。

三维重建系统在不同的应用领域有着不同的预设条件和技术要求，因此内核算法也有相应的差异。主要包括医学领域的重建系统，机器人导航相关实时重建系统，工业领域包括3D打印在内的室内高精度重建系统，以及摄影测量领域实景三维重建系统。医学和工业领域的重建注重高精度和语义化，但是这类应用一般场景较为简单且通常是室内场景，因此可以通过控制光照等方法简化问题。机器人导航领域注重实时性，对于精度要求较低，通过GPU和FPGA等硬件技术可以将大大缓解重建算法的技术难度。实景三维重建源自测绘领域的需求，天然注重高精度，通常需要处理海量数据，加之今年来数字（智慧）城市的发展要求，这类应用对于精度、效率、场景的语义化理解等都有要求，实景三维场景又比较复杂，所以重建难度相当之高。因此最先进的实景三维重建系统也代表了最先进的三维重建算法。

典型实景三维软件介绍

下面对几款代表当今最先进技术水平的实景三维重建商业软件予以简单介绍，排名不分先后：

1.Smart3DCapture

源于法国，号称是法国两家最顶级的研究机构25年的研究成果，技术水平为业界标杆，原理是直接基于物方mesh的全局优化，不同于传统的像方匹配或物方匹配。以下是其原理示意图：

详细内容链接：http://www.acute3d.com/

2.PhotoScan

源于俄罗斯，原理可能是SGM类似算法。

详细内容链接：http://www.agisoft.com/

3.Pix4D

源于瑞士，原理不清楚。

详细内容链接：http://www.pix4d.com/

4.SURE

源于德国斯图加特大学，原理是使用SGM算法。

详细内容链接：http://www.ifp.uni-stuttgart.de/publications/software/sure/index.en.html

5.StreetFactory

源于法国，核心技术可能与Smart3DCapture相似。据内部消息，StreetFactory所使用的三维构网算法是Acute3D研发团队的算法。

详细内容链接：http://www.geo-airbusds.com/en/4291-street-factory-advanced-3d-urban-mapping-solution

6.MicMac

开源软件，源于法国IGN，使用从粗到细的金字塔匹配策略，用全局优化实现匹配。

详细内容链接：http://www.micmac.ign.fr/

7.PMVS

开源软件，作者是Furukawa等人，物方匹配的典型算法，与Smart3DCapture的差别在于，前者是基于点的局部优化，后者是基于mesh的全局优化。

详细内容链接：http://www.di.ens.fr/cmvs/

实验

这部分对于Smart3DCapture，SURE和PMVS进行实验，以窥探三类典型方法的特点。

图 2. Smart3DCapture实验结果，由近景实验结果可见，重建效果并不理想，主要是过于平滑导致。而航空实验对于边缘的保留不错。

图 3.SURE实验结果，匹配稳定性很好，近景结果显著优于Smart3DCapture，但是从航空数据的实验结果看出，三维构网效果不理想。

图 4.PMVS实验结果，最大的问题在于重叠度较低时，重建的点云太稀疏不利于细节表达。而且PMVS不涉及三维构网，原文采用泊松重建并不适用于航空实景三维重建。

总结

以上总结了几种三维重建软件，虽然技术方法各异，但是技术内核无外乎两种：一是像方匹配然后物方融合，一是直接在物方进行匹配。前者依靠典型的SGM算法可以实现高效高质量的匹配结果，但是冗余计算较为严重，因为两视核线影像匹配需要生成高度冗余的立体像对，而每个立体像对伴随着核线采样，最后的匹配结果又需要通过融合实现最终的三维点云。后者直接面向三维重建，冗余计算较小，但是通常需要较高的重叠度才能实现高精度的三维重建，但是随着照片获取越来越方便，似乎这类方法研究前景更为广阔。

现存方法普遍对于弱纹理、光照变化和移动物体等处理不理想，但是多视冗余观测将会在一定程度上缓解该问题。此外，虽然大多数方法都能取得较好的点云，但是通常缺乏质量评价，这对于后续的三维构网和其他应用都增加了困难。

最后，对象化和语义化是实景三维重建广泛实现应用价值必须解决的最后一个技术难题。尽管当前的实景三维重建系统已经基本达到了全自动高精度高效率重建，但是离真正的产生价值还有距离，因为目前的实景三维仅仅可以满足基本的浏览和量测等低级应用，而无法实现高级的场景理解和空间分析。