数道云大数据平台解决方案，Hadoop + HDFS+Hive+Hbase大数据开发整体架构设计

波若大数据平台（BR-odp）Hadoop + HDFS+Hive+Hbase大数据开发工具剖析：

HDFS：分布式、高度容错性文件系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用，大规模的波若大数据平台（BR-odp）用户部署上1000台的HDFS集群。数据规模高达50PB以上

HDFS和MR共同组成Hadoop分布式系统体系结构的核心。HDFS在集群上实现了分布式文件系统，MR在集群上实现了分布式计算和任务处理。HDFS在MR任务处理过程中提供了文件操作和存储等支持，MR在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成分布式集群的主要任务。

Hive：基于Hadoop的一个数据仓库工具，Hive构建在HDFS之上，它提供了一系列的工具，用来进行数据提取、转换、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据机制可以将结构化的数据文件映射为一张数据库表，并提供类sql查询功能，可以将sql语句转换为MapReduce/Tez任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的数据统计，不必开发专门的MapReduce应用，十分适合数据仓库离线的统计分析。

HBase：分布式的、面向列的开源数据库,HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase对上百亿条，上百万列的数据表能够提供实时的访问。

波若大数据平台，Hadoop分布式计算平台的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase等核心技术的应用，实现对大规模海量数据的高效、便捷的数据计算、存储、分析等实用价值。

转载于:https://blog.51cto.com/14191705/2397381