GeoMesa 从GDELT中写入数据

GDELT介绍

GDELT是国外一个大数据存储项目,它提供了自1979年至今的全球广播、印刷和网络新闻媒体报道的事件,并按时间和位置索引。其数据量十分庞大,类别也很丰富。教程里使用的是这个地址下的数据,更新的频率为15分钟。教程使用2018年1月的数据进行试验。

下载数据

使用一个shell脚本批量下载这些文件(注意:官网教程里的脚本有误):

#!/bin/bash
mkdir gdelt && cd gdelt
for day in {25..31}; do
  mkdir 201801$day && cd 201801$day;
  for hour in {00..23}; do
    for minute in 00 15 30 45; do
      wget "http://data.gdeltproject.org/gdeltv2/201801${day}${hour}${minute}00.export.CSV.zip"
    done
  done
  cd ..
done

将数据解压并上传到HDFS中

使用如下的脚本完成:

#!/bin/bash
for day in {01..31}; do
  ls 201801$day/*.zip | xargs -n 1 zcat | hadoop fs -put - /gdelt/uncompressed/201801${day}.tsv
done

开始写入

执行如下的命令,geomesa的命令行工具会启动一个MapReduce任务,将hdfs中的数据文件写入到数据库中(我安装的是HBase),并构建索引。

geomesa-hbase ingest \
    --catalog       \
    --feature-name gdelt   \
    --converter gdelt2     \
    --spec gdelt2          \
    "hdfs://host:port/gdelt/uncompressed/*"

其中 table是要写入的表的名称。
然后就是等待写入完成,我运行时(3个节点,每个节点2核,4G内存)大概等待了40分钟左右,下面是运行正常时的输出结果。

INFO  Creating schema 'gdelt'
INFO  Running ingestion in distributed mode
INFO  Submitting job - please wait...
INFO  Tracking available at http://namenode/proxy/application_xxxxxxx/
[============================================================] 100% complete xxxxxx ingested 0 failed in 00:00:45
INFO  Distributed ingestion complete in 00:00:45
INFO  Ingested xxxxxx features with no failures.

可以用下面的语句验证导入是否成功:

    --feature-name gdelt   \
    --catalog 
\ --max-features 10

其中 table是写入数据的表的名称。

到这里,GDELT数据导入就完成了

使用geoserver可视化

如何安装geoserver以及安装geomesa插件,并根据已有数据发布地图服务,在之前的文章中已经说明,这里就不再叙述了。这里主要演示热力图的生成方法。

首先将Geomesa目录中的geomesa-process-wps_2.11-2.0.2.jar包,复制到geoserver库目录geoserver/WEB-INF/lib/下,以实现密度计算功能。

然后在geoserver后台的Style设置中,新建一个样式,导入官网提供的SLD文件,并命名。

SLD文件导入.jpg

在已生成图层的“发布”一栏中,将style样式选为刚刚新建的样式,点击“保存”。

设置样式.jpg

就可以看到以热力图的形式呈现的数据了(如果有底图效果会更好一些)~

热力图.jpg

参考资料

官方文档

你可能感兴趣的:(GeoMesa 从GDELT中写入数据)