hadoop权威指南读书总结

最近在看hadoop权威指南，巩固一下hadoop的基础知识。

首先，hadoop是什么呢？

Hadoop起源于Nutch, 源起于实现对海量数据的处理方式，中文也称之为‘云计算’。Hadoop就是云计算中的一个开源项目，它克隆了Google运行系统的主要框架，包括文件系统HDFS,计算架构MapReduce及对于结构化数据处理的HBAse等。而基于Hadoop，又出现了许多的开源项目，比如Pig, Zookeeper, Hive等。

而简化理解hadoop，则是一个通过并发驱动大量的服务器，对海量数据做运算的一个分布式集群。它旗下还有很多子项目，如下图，下面分别对这些子项目做概述：

Core： 一系列分布式文件系统和通用I/O的组件和接口

Avro：一种提供高效， 跨语言RPC的数据序列系统，持久化数据存储

MapReduce： 分布式数据处理模式和执行环境，运行于大型商用机集群

HDFS： 分布式文件系统，运行于大型商用机集群

Pig： 一种数据流语言和运行环境，用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。

Hbase：一个分布式的，列存储数据库。Hbase使用HDFS作为底层存储，同事支持MapReduce的批量式计算和点查询(随机读取

ZooKeeper：一个分布式的，高可用性的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。

Hive： 分布式数据仓库。Hive管理HDFS中存储的数据，并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业，beeline引擎)用于查询数据

Chukwa：分布式数据收集和分析系统。Chukwa运行HDFs中存储数据的收集器，它使用MapReduce来生产报告。