Hadoop中空间数据的存储(一)

       Hadoop十周年了,基于Hadoop的空间大数据处理与分析平台出现了好几个,也死掉了不少。由于空间数据的空间特性,导致原型的Hadoop在处理空间大数据方面有很多缺陷。今天我们就来看下空间数据在Hadoop中是如何存储的,这样的存储会带来什么问题。

        实验准备:

                  1、数据集:全国县级行政单元(约148MB)

                  2、实验环境:Hadoop1.2.1 

         将数据上传Hadoop,这里上传的数据已经做了转换,由Shapefile转换成了文本格式,具体数据组织方式如下:{ID, POLYGON (( point, point,……………………………………………………………………)) }
Hadoop中空间数据的存储(一)_第1张图片
         数据是一个文件,那么上传后,由block=64MB

你可能感兴趣的:(大数据技术篇,SpatialHadoop,Hadoop代码编写)