极简主义:大数据GIS操作新升级

为了应对空间大数据以及海量经典空间数据的高效存储、管理和分析,超图深度融合大数据IT技术,研发了HBase和DSF等分布式空间数据引擎,实现了大体量数据的高性能分布式存储。为了进一步降低分布式数据相关操作的使用门槛,超图在SuperMap GIS 10i中提供了便捷的分布式数据管理与制图功能,简化了数据入库、管理、制图、服务发布等各环节的操作过程。
极简主义:大数据GIS操作新升级_第1张图片

多种数据入库方式

大规模空间数据分布式管理与制图的第一步,就是将数据导入到分布式存储系统,如HBase和HDFS中,下文将这一过程简称为数据入库。在SuperMap GIS 10i中,超图提供了4种分布式数据入库方式。

程序API与服务接口

基于程序API与服务接口编写入库代码,可以将程序处理的结果数据直接导入分布式数据库中。这种方式常用于用户在基于SuperMap iObjects for Spark组件编程实现空间数据处理与分析后,对结果数据进行保存的场景。

命令行工具(Tools)

基于SuperMap iObjects for Spark 10i的大数据工具,通过raster-ingest等命令执行数据入库操作,适用于远程操作无图形界面的Linux系统的机器进行数据导入的情况,只需在命令行窗口键入对应的数据入库命令及相关参数即可。
极简主义:大数据GIS操作新升级_第2张图片

SuperMap iDesktopX简易模式

SuperMap iDesktopX 10i提供了一种简易的数据入库方式,支持将多种格式的矢量空间数据导入到HBase数据源中。这种方式通过工作空间管理器中HBase数据源的右键菜单完成数据入库操作,为单线程执行,适用于数据量较小的情况。
极简主义:大数据GIS操作新升级_第3张图片

SuperMap iDesktopX大数据工具

在现实应用场景中,测绘、国土等行业的数据体量大,单线程的简易模式无法满足数据入库的性能要求。这种情况下,可通过SuperMap iDesktopX提供的大数据工具完成数据入库,其基于Spark分布式计算框架,在单机模式下可利用本机的多核计算资源,配置集群后可以调用多节点的计算资源进行数据导入,大大缩短数据的入库时间。经过用户现场测试,四千万确权地块数据导入到分布式空间文件引擎(DSF)中耗时仅需九分钟,并且耗时还能随着Spark计算节点的增加呈现明显减少的趋势。
极简主义:大数据GIS操作新升级_第4张图片

高效的数据管理

完成数据导入后,为了更好地支撑分布式数据的管理操作,SuperMap iDesktopX 10i进一步提供了分布式数据的查看功能,例如:查看分布式数据的一些基本信息,包括:数据连接信息、空间参考、记录数等元信息,以及数据集的表结构和属性值。
极简主义:大数据GIS操作新升级_第5张图片
另外,数据查询检索也是分布式数据管理的一个重要方面,SuperMap iDesktopX 10i中提供了高效的空间、属性关联查询的能力,在CQL查询对话框快速构建查询语句,完成查询操作。
极简主义:大数据GIS操作新升级_第6张图片
SuperMap iDesktopX 10i还支持在地图中直接加载分布式数据。为了保证海量空间数据的显示效率,SuperMap iDesktopX 10i通过金字塔和多线程渲染的技术方案,有力支撑了大规模数据在小比例尺乃至全幅显示的性能。使用SuperMap iDesktopX 10i中的大数据工具进行数据导入时,可以为矢量数据创建金字塔,也可以通过专门的工具为已有的HBase数据创建矢量金字塔。

便捷的地图制图

“一图胜过千言万语”,地图是GIS数据以及数据处理与分析结果最直观的展示方式。SuperMap iDesktopX 10i全面支持分布式数据制图,包括:图层符号化、专题图制作等,并且支持加载风格模板进行配图,方便已有地图成果复用于分布式数据。最典型的应用就是,大体量的国土行业地类图斑数据导入到分布式存储系统后,直接加载原来的地类图斑专题图模板,快速获得分布式改造后的土地利用专题图。

SuperMap iDesktopX 10i不仅具备分布式矢量数据的制图能力,也提供了实用的分布式栅格和影像数据的制图功能,例如影像数据的多波段组合显示、栅格数据颜色表显示等,还支持应用栅格函数,解决了在海量数据情况下,制作山体阴影、坡度、坡向图等地图的效率问题。

直接发布地图服务

SuperMap iDesktopX 10i支持直接发布工作空间来发布前面配置好的地图,并在高性能的免切片分布式渲染技术的支撑下,实现了大规模数据地图免切片发布为iServer地图服务,在客户端也能达到亿级数据量的秒级响应效率。

总结

SuperMap GIS 10i从GIS数据应用的全流程角度出发,为用户提供了便捷、高效的分布式数据的存储、管理、制图的应用工具,满足了用户多种场景下的数据入库需求,也为数据管理人员提供了更加易用、界面友好的数据管理交互平台,大大提升了用户体验和工作效率。

你可能感兴趣的:(大数据)