Hadoop中空间数据的存储（一）

       Hadoop十周年了，基于Hadoop的空间大数据处理与分析平台出现了好几个，也死掉了不少。由于空间数据的空间特性，导致原型的Hadoop在处理空间大数据方面有很多缺陷。今天我们就来看下空间数据在Hadoop中是如何存储的，这样的存储会带来什么问题。

        实验准备：

                  1、数据集：全国县级行政单元（约148MB）

                  2、实验环境：Hadoop1.2.1 

         将数据上传Hadoop，这里上传的数据已经做了转换，由Shapefile转换成了文本格式，具体数据组织方式如下：{ID, POLYGON (( point， point，……………………………………………………………………)) }

         数据是一个文件，那么上传后，由block=64MB，所以数据应该是被分为3块。我们通过hadoop管理界面来看下数据的存储。这里我说下大小，第一块和第二块都是64MB，第三块20.7MB

         我们可以找到具体的块，下载到本地，来看下具体的数据组织。下面是我将数据下载到了本地，我们打开后主要看下块与块之间是如何组织的：（因为每一个POLYGON都是一条记录，那么为了保证64MB，这条记录是否会被物理切分呢？）

       上面是block0的最后一行，下面是block1的第一行，他们俩应该属于一条记录的。但是在分块的过程中已经被切分了。下面我们从空间的角度来具体看下Hadoop中数据存储。为了保证每个block都能够完整的绘制多边形，所以对三个块的交接处做了修改，使其能够闭合。下面才是真正和GIS扯上犊子的时候了。

       Block0中数据可视化后的结果：

       Block1中数据可视化后的结果：

       Block2中数据可视化后的结果：

       以上是三个块中的数据可视化后的效果，是不是不用填充色会好点呢。就这样吧。主要能说明问题就可以了。这里面举个简单的操作，比如空间查询。用户框选矩形进行数据查询，基本上都要遍历三个块才能得到最终的结果。因为这些POLYGON要素是随机切分的，其实也不是随机，就是按照MAP读入的顺序来，从1到1103，放入到第一个块中，如果你将这个ID与Shapfile中要素的ID绑定了那就是Shapfile中的顺序，这样的顺序就没有空间特性可言。我们更希望把在空间上相邻的数据放到一起，这样就可以大大减少空间查询时间，提高效率。下一节，我们来看下SpatialHadoop中数据的存储。

        地理学第一定律（Tobler's First Law或者Tobler's First Law of Geography）all attribute values on a geographic surface are related to each other, but closer values are more strongly related than are more distant ones。这样看来，Hadoop对GIS耍流氓了。