Spark for Spatial,相关资源

        时空大数据分析正越来越热门,而R之类的分析工具只能制作简单的地图。把GIS纳入大数据技术体系,并且将GIS的算法、模型、可视化等能力与Hadoop/Spark等大规模分布式计算体系结合起来,将逐步成为研究的前沿。这里收集了SpatialHadoop/GeoSpark/PCL/OpenSLAM等几个前沿的开源项目资源,可以从中学习,有能力的可以参与其中,真正去开展前沿技术的研究。

1、SpatialHadoop

SpatialHadoop是基于Hadoop开发的一套空间算子解决方案,由University of Minnesota发起,可以利用Hadoop的HDFS分布式虚拟文件系统和MapReduce分布式处理框架,进行空间数据的处理。项目主页可以下载代码和数据、以及预建的虚拟机。目前只能处理csv格式的简单几何对象。

项目主页:http://spatialhadoop.cs.umn.edu/

源代码库:https://github.com/aseldawy/spatialhadoop2

2、SpatialSpark

SpatialSpark是基于Spark的空间对象处理框架。

项目主页:http://simin.me/projects/spatialspark/

项目源码:https://github.com/syoummer/SpatialSpark

3、GeoSpark

GeoSpark是基于Spark的空间对象处理框架,支持RDD,目前仍处于比较早期的阶段。

https://github.com/Sarwat/GeoSpark

http://www.public.asu.edu/~jiayu2/geospark/javadoc/index.html

4、GeoWave

GeoWave,桥接传统数据库、Apache Accumulo分布式存储与Spark。

从https://github.com/ngageoint?page=3可以看到NGA托管的大量项目。

项目主页:https://www.locationtech.org/proposals/geowave

5、OpenSLAM

SLAM (simultaneous localization and mapping)技术用于自动测量、制图,在机器人等领域有重要的应用。

项目主页:http://www.openslam.org/

6、点云支持库(PCL)

点云是激光雷达、摄像头、深度感知系统等产生的原始阵列状数据,在人工智能、机器人、工业自动化等领域都有广泛的应用。点云含有深度信息、可以和影像、多波段感知数据等融合进行分析。

PCL是一个开源的点云库,有很多大型IT企业参与。

项目主页:http://www.pointclouds.org/

项目源码:https://github.com/PointCloudLibrary



你可能感兴趣的:(hadoop,spark,PCL,SpatialSpark,SpatialHadoop,OpenSLAM,GeoWave)