ArcGIS中的影像解决方案_2019

ArcGIS影像解决方案

一、前言

       现代遥感技术起源于20世纪60年代，长期以来，美国一直是遥感领域发展的领导者，20世纪80年代开始，我国航天事业取得长足进步，发射了一系列遥感卫星，包含风云气象卫星（1988），资源系列卫星（1999），环境减灾系列卫星（2008年以来），高分系列卫星（2013年以来），碳卫星（2016年）等。

       遥感技术与国民经济、生态保护和国防安全等关系越来越密切。比如土地资源调查、生态环境监测、农业监测与作物估产、灾害预报与灾情评估、海洋环境调查等，包括与日常生活息息相关的天气预报、空气质量监测、电子地图与导航等活动，遥感都发挥了重大作用。

       近年来，随着无人机技术和传感器小型化技术不断取得了新的突破，无人机遥感系统呈现井喷式发展模式，它具有成本低、灵活机动、实时性强、可扩展性大和云下高分辨率成像等突出特点，可以和卫星遥感形成优势互补。

       同时，遥感自带的大数据属性，也对遥感影像的应用提出新的挑战。

二、ArcGIS体系简介

       先简单介绍一下ArcGIS体系。大家对于ArcMap应该是不陌生的，ArcMap是ArcGIS桌面软件，地信专业的人都会用到这个软件做一些数据处理、制图相关的工作。ArcGIS当然不仅限于ArcMap，它是一个庞大的地理平台，整个平台具备三层架构，分别为应用层（Apps）、门户层（Portal）和服务器层（Server）

          

                                                                             ArcGIS平台架构

2.1 应用层

          应用层是用户访问ArcGIS平台的入口，面向不同场景，不同人群，ArcGIS提供了丰富的Apps。应用层涉及的软件非常多，如GIS专家使用ArcGIS Pro和ArcGIS Desktop等专业型Apps制作地图、模型和工具；外业人员可使用Collector for ArcGIS、Navigator for ArcGIS、Workforce for ArcGIS、Drone2Map for ArcGIS等进行外业数据采集及任务调配；业务人员和决策者可使用Insights for ArcGIS、ArcGIS Maps for Office、Operations Dashboard等进行办公决策；公众可使用地图故事系列模板、ArcGIS Open Data等方便获取地理数据、使用ArcGIS平台

                                                                                即拿即用的Apps

2.2 门户层

           官方白皮书中介绍门户层时，提到门户层是ArcGIS平台的访问控制中枢，个人感觉更具体一点来说，门户层的定位应该是WebGIS平台的访问控制中枢，它的功能简单来说就是在网页端实现对整个WebGIS平台中的数据的管理，共享。

                                                                                             门户层示例

2.3 服务器层

        即熟悉的ArcGIS Server，它是ArcGIS平台的重要支撑，为平台提供丰富的内容和开放的标准支持。它是空间数据和GIS分析能力、大数据分析能力在Web中发挥价值的关键，负责将数据、空间分析能力等转换为GIS服务（GIS Service），通过浏览器和多种设备将服务带到更多人身边。

                                                                                          服务器层功能

        此外，服务器层还包含3个大数据分析服务器，分别是ArcGIS GeoAnalytics Server（用于矢量/表格大数据分析处理）、ArcGIS GeoEvent Server（用于实时数据）、ArcGIS Image Server（用于影像大数据），后面会针对这些大数据分别介绍一下，本次只涉及到Image Server。

三、影像解决方案

3.1 影像管理

        ArcGIS中对于影像的管理，依赖的是镶嵌数据集，尽管是ArcGIS10版本推出的好些年的“老”技术，但是镶嵌数据集在大规模影像管理方面有着得天独厚的优势，它可以实现多源数据的高效管理，包括国内外主流的卫星影像、航空影像、无人机影像、激光雷达数据、地形数据以及气象数据等，当然，还可以通过Raster Type对支持的传感器类型进行扩展。

       先来了解一下什么是镶嵌数据集，官方帮助文档对于镶嵌数据集的定义是：镶嵌数据集是一组以目录形式存储并以单个镶嵌影像或单个影像（栅格）的方式显示或访问的栅格数据集（影像）。影像的数据量是非常大的，镶嵌数据集通过栅格记录以及属性表中的属性来管理元数据，通过将元数据存储为属性，更方便地管理传感器、影像获取时间等参数，同时也可以提高对选择内容的查询速度。

                                                                        各个栅格和元数据组成的栅格数据集

镶嵌数据集具有两大特点，分别是动态镶嵌和实时处理。

1. 动态镶嵌

       动态镶嵌是镶嵌数据集的高级特性之一，通过镶嵌数据集的动态镶嵌技术，可以像预先镶嵌好的影像一样对影像进行可视化和分析。整个过程如下：

• 按照用户请求动态镶嵌多幅影像
• 支持用户控制镶嵌方法

--根据时间

--根据属性

--根据视点：方向

--羽化拼缝线

• 支持用户查询
• 支持分波段定义NoData

       借助于动态镶嵌，可以简化影像的预处理过程，加快影像从获取到使用的速度。而且镶嵌数据集的动态镶嵌技术是可伸缩的，动态镶嵌的影像可以是几景、几十景、甚至是几万景、几十上百万景！

2. 实时处理

        镶嵌数据集中大量使用了实时处理的技术，对于使用的人来说，无需关心影像数据量的大小，不会产生中间数据（如果想保留中间结果，可以导出），只关注于想要的结果即可。

        通过实时处理技术可以瞬间得到GB甚至TB级别的影像处理结果，同时也可以使用同一数据源产生多种影像产品，例如通过DEM影像，可以利用不同的栅格函数链生成地貌晕渲图、坡度、坡向等。

                                                                                           DEM实时处理

 

3.2 影像分析

3.2.1 影像处理工具

3.2.1.1.地理处理工具（GP工具）

       地理数据可视化和处理是地理信息系统最重要的功能，ArcGIS中提供了单个的GP处理，也提供了Model Builder这种多个工具联合使用的方式。在ToolBox里面含有大量的GP工具，下图列出了针对影像处理的部分GP工具。

                                                                                 针对影像的部分GP工具

3.2.1.2.栅格函数链

       不同于地理处理工具（GP工具），栅格函数的运算处理实际上是一个动态的过程，不会像GP工具在进行处理时产生中间数据，因此可以快速应用处理操作。

        GIS中提供了很多开箱即用型的函数，包含辐射校正、几何校正、数据管理、可视化和分析等。

                                                                                      栅格函数

       这些工具即可以单独应用，也可以组合成栅格函数链，类似于Model Builder，形成自己的一套业务处理流程。

3.2.1.3.人工智能

       在ArcGIS中，有很多机器学习和深度学习的工具，机器学习和图像分类工具允许分析人员使用高级分类器和机器学习算法创建派生产品，如土地覆盖和土地利用分类地图。用户能够使用统计和机器学习分类方法对遥感图像进行分类。

1.机器学习

       ArcGIS中的机器学习算法大致可以分为三类：分类，聚合以及预测。

                                                                                机器学习算法

2.深度学习

         Pro2.2版本之前，Pro对于深度学习方面的应用，更多的是样本制作以及对第三方框架的支撑。例如前期的准备样本准备，以及导出样本至第三方深度学习框架，包含KITTI、PASCAL和VOC，都是主流的深度学习框架。

                                                                                导出样本至第三方框架

 在2.3版本中，集成了深度学习工具集，包含：

• 三个新的地理处理工具，支持使用流行的深度学习框架生成的深度学习模型，进行图像分类和对象检测工作流程；
• 支持TensorFlow、CNTK和Keras等深度学习框架；
• 对已有“创建培训样本”工具功能进行增强，以简化创建训练样本和元数据的过程，以便输入到深度学习框架中。

新增的Deep Learning工具箱如下：

                                                                                    深度学习工具集

通过集成的深度学习工具集，可以从图像中获取更好的洞察力：

                                                         深度学习工具扫描自然彩色航拍图像来识别棕榈树

3.2.2 针对无人机的影像处理

3.2.2.1.Ortho Mapping

     ArcGIS10.5版本发布后新增了一个专业影像处理工具箱—OrthoMapping。OrthoMapping具备基于无人机、大飞机、卫星拍摄的原始影像获取专业级别信息产品的生产能力，使用OrthoMapping工具集以及区域网平差操作窗可以生产大规模、高精度的DOM及DSM成果，具体如下：

• 基于大规模影像的镶嵌正射产品
• 基于航空或者卫星立体像对提取的3D点云
• DSM/DTM

                                                                  

                                                      点云                        DSM/DTM                     DOM

       航空或者卫星影像在获取的时候通常具有系统及非系统的错误以及几何精度上的误差，在10.5以前，ArcGIS可以基于不同的栅格产品类型进行无控正射校正、动态镶嵌匀色，快速获得基于镶嵌数据集的底图成果，并在线发布。

       然而，要想获得优质、高精度的测绘级生产成果，专业的摄影测量软件通常会进行区域网平差处理。OrthoMapping中的区域网平差技术是自动选取同名点，在稀少控制点条件下，精确获得几何定位，具有较高的产品精度。

       立体相对通常是指从不同角度进行拍摄，获得的具有重叠区域的两张同一地区的遥感影像。资源三号卫星、WorldView卫星等都可以获得立体影像。OrthoMapping工具提供了基于大规模立体影像生产三维点云成果、地形数据的工具，帮助用户在获取高质量底图同时同步获得地形数据。

      下图是Ortho Mapping的工作流程，当然也可以通过python对工作流进行封装使用。

                                                                        Ortho Mapping工作流程

3.2.2.2.Drone2Map

       从定位来说，Drone2Map是和ArcMap、ArcGIS Pro并行的，只不过它只用于无人机影像处理，提供从无人机原始影像到2D、3D产品生成的全套流程。

       Drone2Map界面简洁，和ArcGIS Pro一样均采用Ribbon界面。集成了Pix4D专业算法，提供无人机影像处理的自动化流程，而且软件和Portal、Online是无缝连接的，即通过Drone2Map处理的成果可以直接共享到ArcGIS平台。

3.2.2.3.Ortho Maker

       Ortho Maker是用于无人机影像处理的一款web端应用程序，同时依托于Image Server的分布式计算能力。依赖于ArcGIS Enterprise和ArcGIS Image Server的分布式处理和存储功能，可以快速处理无人机收集的数百或数千个图像，并生成镶嵌正射影像和数字表面模型（DSM）、数字地形模型（DTM）等信息产品。当然也可以自定义一些产品的生成，包括用于分析植被覆盖度和相对健康状况的可见大气压力指数（VARI）地图，以及用于适宜性分析或评估地形对开发和自然特征的影响的坡度和坡向地图等。

      Ortho Maker最大的优势在于工作流程的缩减，传统的无人机航拍，结束之后影像要拿到内业处理，然后再返回给相关人员进一步使用，但是通过Ortho Maker，外业航测人员在获得影像的第一时间就可以上传到服务器中，服务器自行处理影像，生成的正射影像或者DSM直接以服务的形式存在于整个arcgis平台中，非常便利的共享给其他人，这对某些有时效性要求的行业应用来说，是一个非常有潜力的工具。

      而且Ortho Maker背后依赖的是arcgis平台的Image Server服务器，数据量足够大时，可以增加节点，利用分布式的计算框架，提高影像处理的速率。

3.2.3 影像大数据

       遥感是一门自带大数据属性的学科，遥感卫星越来越多，获取的影像也越来越多，势必会面临着影像的存储、管理及使用问题。关于影像的管理，正如前面所说，镶嵌数据集是影像管理的高效手段，原先，我们主要用Image Extension扩展基于镶嵌数据集对海量影像进行管理共享，ArcGIS 10.5发布之后，Image Extension扩展被单独拿出来，在影像管理共享能力的基础上，新增了Web端实时动态处理能力，形成了一款影像大数据处理工具—Image Server。

    Image Server的能力，概括起来可以分为两类：

（一）基于镶嵌数据集的动态影像服务

（二）分布式栅格大数据分析能力

1.基于镶嵌数据集的动态影像服务能力

       影像服务为web应用程序提供影像数据和功能的访问能力。通过Image Server，可以将来自卫星、航空、无人机拍摄的原始影像及多源栅格产品如镶嵌正射成功、数字高程模型、激光雷达数据、科学数据集等以动态影像服务的能力进行发布，并提供高质量的在线底图、快速的查询检索、可控的原始数据下载、高效的实时动态分析等。

                                                                                  动态影像服务能力

  通过Image Server发布动态影像服务，优势主要在于：

（1）只要单一的服务就可以快速的访问机构中的大规模影像服务

（2）保留影像级别的元数据，客户端可快速查询检索

（3）可以像镶嵌数据集一样进行可视化和分析，也可基于实时处理技术，单一数据源创建多种影像产品服务，减少数据冗余

（4）能下载原始影像或裁切某一区域的影像，便于影像分发

（5）适用于背景底图、在线分析以及影像分发应用。

2.分布式栅格大数据分析能力（Raster Analytics）

        Image Server提供的分布式栅格大数据分析能力（RA），可以从大规模影像中快速提取有价值的信息。灵活的分析模型扩展、分布式存储与计算，可伸缩可扩展的一体化平台，极大地缩短了大规模影像处理时间，促进多源数据的高效应用与信息挖掘。

       RA使用方式比较灵活，可以通过portal、ArcGIS Pro、python api或者rest api使用，这里重点介绍Portal和ArcGIS Pro中使用RA工具

       Portal（10.6.1）的MapView页面提供了6大类14种RA工具，可以直接像在ArcMap中使用Toolbox工具一样使用，对于使用者来说，只要关心输入输出，以及相应的工具属性设置，其余部分交给软件即可。

                                                                                Portal页面调用RA工具

       在ArcGIS Pro中，提供了更加灵活地使用ArcGIS Image Server的栅格大数据分析能力。用户可以在栅格函数编辑器其中创建和执行全新的栅格函数链，并实现分布式计算、存储。

                                                                                   Pro中调用RA工具

       使用Fuction Editor工具，自定义的栅格函数处理和分析工作流可以保存并运算，并以原始分辨率输出分析结果，支持分布式的存储、处理、分析。

                                                                                        栅格函数链

        ArcGIS Pro中提供了100多种栅格函数，可以根据业务需求，对函数进行组合，形成一套栅格函数链，形成工作流解决复杂的业务问题，这就扩展了RA的使用情况，作为用户，可以在Pro中创建栅格函数链，分享到portal中，在portal中调用栅格函数链，依托image server的分布式能力，快速实现影像的处理。

                                                                                      栅格函数使用流程

四、总结

        ArcGIS 提供了一个综合的影像平台，从桌面端的高效数据管理，实时动态处理、到 Server 端的影像服务发布，栅格大数据分布式处理分析，再到轻量级的web端、移动端应用构建，ArcGIS影像为各行业用户提供完整的影像解决方案。

                                                                                            影像平台

     ArcGIS中关于影像的技术是非常多的，但是限于篇幅，只能粗略的介绍一下，这篇总结也作为一个序章，接下来会针对每一部分都详细介绍，时间如果来得及的话，会再加上一些实际的使用教程，这也是我2019年的个人计划之一：完整的了解一遍ArcGIS中的影像技术。

 

 

 

参考：

【1】张兵. 当代遥感科技发展的现状与未来展望

【2】以资源三号立体卫星影像为例，解析ArcGIS 10.5 新贵

OrthoMapping http://www.sohu.com/a/125771993_609577

【3】聚焦ArcGIS Pro2.3新特性        公众号：Esri中国

    https://mp.weixin.qq.com/s?__biz=MjM5MDI2NjI0NQ==&mid=2651060718&idx=1&sn=36c98c8b17887b092fefa92d6888580f&chksm=bdb03f048ac7b6120099a9cc6ffb913043b6af197ba846f62c237866191ebcdba8fa2fa1db97&scene=21#wechat_redirect

【4】ArcGIS10.6白皮书