时空数据分析计算平台调研

一. 时空数据分析计算系统架构

时空数据分析: 基于位置服务、时空模式、可视化
数据挖掘算法:时空模式挖掘、时空聚类、时空分类、时空异常检测
时空数据准备:清洗、集成、选择、加载、时空索引
云计算平台

二. 数据库、分析可视化工具

1. 数据库的选取

PostgreSQL:非常优秀开源空间信息数据库,构建在其上的空间对象扩展模块PostGIS则使得其成为一个真正的大型空间数据库
PostGIS在对象关系型数据库PostgreSQL上增加了存储管理空间数据的能力,相当于Oracle的spatial部分。PostGIS最大的特点是
符合并且实现了OpenGIS的一些规范。

2. 计算、分析工具的选取

① 计算工具

  • Spark
    拥有Hadoop MapReduce所具有的优点,不同于MapReduce的是Job中间输出结果可以保存在内存中,
    从而不需要读写HDFS,更适用于数据挖掘与机器学习等需要迭代的MapReduce的算法

② 分析工具——GIS

常用GIS平台软件
* ArcGIS(国外)
支持的数据库系统:Oracle, DB2, InforMix , SQL Server
跨平台:Windows/Unix/Linux
性能:快速数据访问存储、动态高效空间索引、稳健高效的空间运算能力
说明:ArcGIS支持NoSQL数据库MongoDB数据源
* MapInfo(国外)
支持的数据库系统:Oracle, DB2, InforMix , SQL Server, Sybase
跨平台:Windows
性能:较快的数据访问存储能力、较好的空间索引、空间运算能力一般
* MapGIS(国内)
支持的数据库系统:Oracle, SQL Server
跨平台:Windows
性能:较快的数据访问存储能力、较好的空间索引、空间运算能力一般

  • 开源QGIS
    用户界面友好
    支持PostGIS数据库
    可通过插件扩展功能
    可能不适合大规模坏境(待调查)
    重构了API库,用户可以进行二次开发

  • 开源GRASS
    覆盖了大多数GIS功能
    QGIS可以很好地支持GRASS算法接口,成为GRASS的一个重要前端表现工具。

三. 开源空间信息软件框架

空间数据库:PostgreSQL+PostGIS
Web Mapping:MapServer+OpenLayers
桌面客户端:QGIS
GIS套件:GRASS
开发语言:Python

webmap:图形导航工具
OpenLayers:用于WebMapping客户端开发的Javascript包
MapServer:用于空间信息的Web发布和交互

你可能感兴趣的:(spark,Gis,计算平台,时空数据分析)