网易视频云：Hadoop中空间数据的存储（一）

　　Hadoop十周年了，基于Hadoop的空间大数据处理与分析平台出现了好几个，也死掉了不少。由于空间数据的空间特性，导致原型的Hadoop在处理空间大数据方面有很多缺陷。今天，网易视频云就转载相关经验，带领各位看看空间数据在Hadoop中是如何存储的，这样的存储会带来什么问题。

　　实验准备：

1、数据集：全国县级行政单元（约148MB）

2、实验环境：Hadoop1.2.1

　　将数据上传Hadoop，这里上传的数据已经做了转换，由Shapefile转换成了文本格式，具体数据组织方式如下：{ID,POLYGON (( point，point，……………………………………………………………………))}

　　数据是一个文件，那么上传后，由block=64MB，所以数据应该是被分为3块。我们通过hadoop管理界面来看下数据的存储。这里我说下大小，第一块和第二块都是64MB，第三块20.7MB。

　　我们可以找到具体的块，下载到本地，来看下具体的数据组织。下面是我将数据下载到了本地，我们打开后主要看下块与块之间是如何组织的：（因为每一个POLYGON都是一条记录，那么为了保证64MB，这条记录是否会被物理切分呢？）

　　上面是block0的最后一行，下面是block1的第一行，他们俩应该属于一条记录的。但是在分块的过程中已经被切分了。下面我们从空间的角度来具体看下Hadoop中数据存储。为了保证每个block都能够完整的绘制多边形，所以对三个块的交接处做了修改，使其能够闭合。下面才是真正和GIS扯上犊子的时候了。

　　Block0中数据可视化后的结果：

　　Block1中数据可视化后的结果：

　　Block2中数据可视化后的结果：

　　以上是三个块中的数据可视化后的效果，是不是不用填充色会好点呢。就这样吧。主要能说明问题就可以了。这里面举个简单的操作，比如空间查询。用户框选矩形进行数据查询，基本上都要遍历三个块才能得到最终的结果。因为这些POLYGON要素是随机切分的，其实也不是随机，就是按照MAP读入的顺序来，从1到1103，放入到第一个块中，如果你将这个ID与Shapfile中要素的ID绑定了那就是Shapfile中的顺序，这样的顺序就没有空间特性可言。我们更希望把在空间上相邻的数据放到一起，这样就可以大大减少空间查询时间，提高效率。

　　更多技术分享，请关注网易视频云官方网站（http://vcloud.163.com/）或者网易视频云官方微信（vcloud163）进行交流与咨询。