楠哥讲心得之真正射影像制作

    1990年，美国提出国家数字正射影像计划，其主要目的是通过覆盖全美的数字正射影像为政府对土地的可利用性的决策提供基础信息。但在传统的数字正射影像制作中，没有考虑高大地物特别是建筑物的投影差，从而导致城区的建筑物目标在正射影像中倾斜，偏离其正确位置，偏离方向以及偏离程度视摄影中心相对于地物目标的方位而定，严重影响了利用正射影像对目标判读的正确性。随着近年来遥感卫星成像技术的不断提高以及城市建设的快速发展，传统正射影像已不能满足社会文化和经济生活的需求，“真正射影像”应运而生，它同时消除了地面以及地面上三维目标的投影变形^[14]，建筑物、桥梁等空间目标的倾斜得到纠正，遮蔽问题也得到了解决，在城市规划、环境监测、应急响应等方面用途广泛。

    真正射影像作为一种更高级的影像数据产品，受到了越来越多的关注，自20世纪90年代末以来，国内外学者对其进行了较为广泛的研究^[15]。目前，城市地区真正射影像的生产及应用已成为国内外研究和实践的热点前沿。很多摄影测量系统将真正射生产作为其亮点功能，较为出名的如像素工厂（Pixel Factory），是一套用于大型生产的影像处理系统，具有若干计算能力强大的计算节点，输入数码影像、卫星影像或者传统光学扫描影像，在少量人工干预的条件下，经过一系列的自动化处理，可输出包括DSM、DEM、DOM及TDOM等数字产品，并能生成一系列其它中间产品，是当今世界一流的遥感影像自动化处理系统，集自动化、并行处理、多种影像兼容性、远程管理等特点于一身^[16,17]。此外，INPHO软件的OrthoBox模块也具有类似的功能^[18]。

    目前，真正射影像制作中，涉及的关键技术有：

     1)  DSM的获取

    DSM对制作真正射影像至关重要。目前，获取DSM的方式主要有三种：基于多视影像密集匹配的方式获取DSM点云^[19]，然后直接构建规则格网或TIN模型；直接利用LiDAR扫描获取DSM点云，然后直接构建规则格网或TIN模型^[20]；分别构建DBM和DEM，然后整合得到DSM^[21]。第一种方式可以自动化获取DSM点云，但受制于纹理匮乏、重复纹理、遮蔽、视差不连续等因素影响，存在误匹配的问题；第二种方式直接通过激光扫描就可获取完整的DSM点云，但是由于扫描具有一定盲目性，无法精确地获得地形地物的边缘特征，直接构建的网格模型精度较低；第三种方式可以获得高精度的DSM，缺点在于主要依赖于效率较低的人工交互方式来获取DBM。目前，国内外很多研究人员正致力于利用LiDAR数据自动重建DBM，可以用来解决第三种方式所存在的问题，为高效获取高精度DSM模型提供了可观的前景。

从数据角度，可以将基于LiDAR数据自动重建DBM的方法分为两类：一类方法是只采用LiDAR点云数据重建DBM。LiDAR获取的点云具有多种特性，根据这些特性可以采取不同的策略构建DBM，主要的策略包括：利用小波变换从LiDAR点云中重构DBM^[22]；通过高程和几何形态提取建筑物信息并采用形态学方法重建DBM^[23]；对激光扫描的点云构建不规则三角网TIN（Triangular IrregularNetwork），再基于三角形分割和平面探测构建DBM^[24]；利用水平集从LiDAR点云中提取DBM^[25]。

    另一类方法是融合LiDAR点云和其他遥感数据构建DBM。很多学者采用融合LiDAR点云和影像的方法自动提取建筑物并构建DBM。Tao等首先利用地面点云对城区地物进行分类，结合IKONOS影像进行由粗到细的房屋分割^[26]；Huber等采用融合 LiDAR数据和航空影像数据的方式来自动提取房屋^[27]；Mohammad等首先利用LiDAR数据制作房屋掩膜，然后利用房屋掩膜和正射影像分割的边缘数据提取房屋初始轮廓，最后融合多光谱数据得到DBM^[28]；Liang-chien等首先利用LiDAR数据提供房屋初始轮廓，再结合航空立体影像边缘信息获取更加精确的房屋轮廓^[29]；Rottensteiner等首先基于曲率分割方法从LiDAR点云中提取屋顶面，再融合航空影像提高重建DBM精度^[30]。

     2) 点云数据与影像数据之间的配准

    现实情况中，由于各种误差的存在，很难保证直接获取的LiDAR点云与影像有正确的一一对应关系，通常需要对点云数据和影像数据做配准。作为一个比较经典的问题，点云与影像配准的方法主要包括：基于关键点的匹配方法^[31]，基于结构特征的匹配方法^[32]和基于交互信息的配准方法^[33]。

     3) 遮蔽检测

    直接利用DSM代替DEM对影像进行微分纠正，会在影像的遮挡区域产生“鬼影”现象^[34]，所以还需要高效、准确的遮蔽检测算法。作为真正射影像制作的关键步骤，遮蔽检测已为国内外学者大量研究。根据检测单元的种类，可将现有遮蔽检测方法分为两大类：以栅格点为单元的检测方法和以矢量面为单元的检测方法。

    以栅格点为单元的检测方法主要包括：Z-buffer方法及其改进方法^[35-39]、基于角度的方法^[40]和基于高度的方法及其改进方法^[41,42]。Z-buffer方法是计算机视觉和摄影测量领域主流的可见性分析算法，原始算法的基本原理是利用两个矩阵分别记录摄影中心到目标点距离和DSM网格单元的可见性，通过比较投影到同一像素位置的地物到摄影中心的距离来判断遮蔽，算法简单，执行效率高，但对DSM格网分辨率敏感，存在伪可见、伪遮蔽及M-portion问题。基于角度的方法的基本原理是通过连续比较扫描方向上投影方向与天底方向间夹角来检测地面点的可见性，理论严密，有效避免了Z-buffer方法中存在的伪可见和伪遮蔽及M-Portion问题，但需要对全部DSM网格进行检测，计算量大，效率较低。基于高度的方法的基本原理是通过比较搜索路径上地面点的高度与摄影光线的高度来检测DSM格网的可见性，算法不受影像分辨率影响，比基于角度的方法高效，但仍有少量伪遮蔽的问题；任东风等采用改进的基于高程方法，在遮蔽检测过程中对判别准则进行了约束，提高了算法执行效率。

    以矢量面为单元的检测方法主要包括：基于多边形前向投影检测方法^[43]、基于高程面投影的迭代检测方法^[44]以及基于多边形后向投影检测方法^[45-47]。多边形前向投影检测方法将影像中的像素，通过迭代射线追踪法投影到物方，根据物方矢量四边形的坡度初步判断是否有遮蔽，再进一步判断出遮蔽区域，算法适用于正解法数字微分纠正，考虑了像素的投影变形，避免了分辨率差异和地形坡度引起的伪遮蔽与伪可见问题，但像素矢量化计算量大，迭代计算存在不收敛情况，精度受灰度插值方法影响。基于高程面投影的迭代检测方法的原理是，将建筑物矢量多边形投影到某一参考高程面上，通过迭代逐渐逼近法，计算出多边形在DEM或建筑物上的遮蔽点，进而获取遮蔽区域，该算法因为使用了矢量数据，使得遮蔽检测结果边缘处的信息更加准确，但当地形非常复杂时，会出现迭代不收敛的情况，迭代运算也使得算法的执行效率低。基于多边形后向投影检测方法将矢量多边形投影到像方，根据像方多边形的相交情况检测遮蔽，后向投影和基于栅格的求交运算易于实现，无需开辟存储距离和可见性的矩阵，不受分辨率影响，结果精确，但多边形表达使得投影处理较为复杂，存在多边形边界附近像素误判的可能，当城区建筑物密集时，盲目地比较多边形相交会很耗时。

    综上所述，现有的方法各有优缺点：计算效率高的方法一般检测结果的准确度不稳定，并需要额外的存储空间；结果精确、无需额外存储空间的方法又都相对费时。

    4)遮蔽修复

遮蔽检测会在影像中产生遮蔽区，需要对遮蔽区域进行纹理补偿。遮蔽补偿的方式主要有三种：简单地用黑色填充遮蔽区；采取从相邻影像上获取可见纹理进行补偿；通过图像修复的方法，用该影像上的已有信息推测出遮蔽区域的信息^[48]。

    在上述方法中，第一种方法虽然简单，但是其结果将影响真正射影像的解译能力及视觉美观；第二种方法利用真实信息，是最理想的方法，主要包括两种处理方式：分别对每张影像生成近似真正射影像，然后对所有可见区域融合的方式^[1]和确定主、辅影像后，利用辅影像的可见区修补主影像遮蔽区域的方式^[49,50]；第三种方法用的是非真实纹理，当遮蔽范围较大且含有重要信息时不可取，属于图像修复领域，主要的算法有偏微分方程算法、全变分模型算法、纹理合成算法等^[51]。

    5) 阴影检测与修复

    由于建筑物较密集，大比例尺城区航空影像中通常存在大量阴影，会给真正射影像的正确解译和判读带来不便，所以要对真正射影像中阴影进行检测与修复。

    阴影检测方法主要可以分为两大类：基于图像的方法和基于对象的方法^[52]。基于图像的方法主要是通过分析色彩、结构及轮廓等特征识别阴影，方法快速、简单且通用性好。基于对象的方法主要是通过结合影像中的建筑、车辆等三维几何形状以及光源的先验知识提取阴影，可以避免水体及其它低亮度地物对阴影检测的干扰，还减小了检测范围，提高了检测效率，但受限于先验知识的获取，通用性不高。在阴影补偿方面，王晓楠^[53]，王树根等^[54]做了相关探讨。

    在上述的关键技术中，有些经过了多年研究，比较成熟，有些则需要做进一步的研究。目前，已有一些国内外学者对基于LiDAR数据制作真正射影像的方法做了相关研究^[55-58]，但这些研究大多是在技术流程方面的尝试，没有对其中若干关键问题展开深入的研究^[59]