ArcGIS和Hadoop之间的故事 by GISer_Leo
一个是GIS界的大牛,一个是BigData界的主流。下面我们来看看ArcGIS在这方面所做的工作。
首先可以打开github中Esri的内容 https://github.com/Esri,然后在里面搜索 hadoop,会发现目前Esri在hadoop方面已经提供了四个项目。
1、spatial-framework-for-hadoop 基于hadoop的空间数据处理和分析框架,该框架允许开发者和数据科学家通过hadoop云计算平台来处理和分析空间数据。
2、gis-tools-for-hadoop 基于Hadoop的GIS工具箱,可以通过GIS工具对大数据进行空间分析。
3、geoprocessing-tools-for-hadoop 基于Hadoop的地理处理工具箱,提供了地理数据库和Hadoop之间数据存储转换功能,并且也实现了运行Hadoop工作流的功能。
4、hadoop-for-geoevent 是对ArcGIS GeoEvent功能的一个扩展,实现了GeoEvents数据在HDFS上的存储。
=====================================================================================
今天主要测试一下第三个工具 geoprocessing-tools-for-hadoop 。
1、首先下载对应的文档:geoprocessing-tools-for-hadoop-master.zip 解压后可以看到以下内容:
2、然后,将Requests和WebHDFS的Python包直接放到Python的site-packages文件夹中,这样,在其他应用中也可以使用该功能。
3、在ArcMap中添加。在这里要注意最好将ArcMap配置成英文环境,中文的一直报错,不知道是不是这个原因。打开toolbox,点击右键添加工具箱将Hadoop工具箱添加进去,如图所示:
目前来看,只提供了5个功能,包括要素类和json的互转以及在HDFS上获取和上传数据,还包括一个执行工作流的工具。