Hadoop项目概述

 

Common:一组分布式文件系统和通用I/O的组件与接口(序列化,JAVA RPC和持久化数据结构)
Avro:一种支持高效,跨语言的RPC以及永久存贮数据的序列化系统。
MapReduce:分布式数据处理模型和执行环境,运行于大型商用机集群。
HDFS:分布式文件系统,运行与大型商用机集群。
Pig:一种数据流语言和运行环境,用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。
Hive:一个分布式、按列存贮的数据仓库。Hive管理HDFS中存贮的数据。并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。
HBase:一个分布式、按列存贮数据库。HBase使用HDFS作为低层存贮,同时只吃MapReduce的批量式计算和查询(随机读取)
ZooKeeper:一个分布式、可用性高的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。
Sqoop:在数据库和HDFS之间高效传输数据的工具。

你可能感兴趣的:(java,分布式,运行环境,数据流,的)