2.Hadoop起源及组件

hadoop是 apache lucene 创始人Doug Cutting 创建的
Hadoop起源于开源的网络搜索引擎apache NUTCH，它本身也是Lucene的一部分
Lucene是一个非常优秀的开源的全文搜索引擎; 我们可以在它的上面开发出各种全文搜索的应用来。
Lucene在国外有很高的知名度; 现在已经是Apache的顶级项目;
因为Lucene太复杂了，ELK的ES就是把Lucene封装了，然后提供了简单的对外接口
所以可以不严格的说我们的ELK与HADOOP 都是这位天才程序员的作品

hadoop不是简写，他是生造出来的词语
hadoop之父这样解释hadoop的名字：
这个名字是我的小孩给他的毛绒象起的名字，我的命名标准是好读，含义宽泛，不会被用于其他地方
小孩子是这方面的高手，google也是小孩子取得名字

hadoop的子项目及后续模块所使用的名字也往往与其功能不相关，通常也是以大象或其他动物命名的,比如 pig
但是较小的组件名称通常有较好的描述性（因此也更流俗），这个原则很好，意味着我们可以“望文生义”，例如 jobtracker ，一看就知道是用来追踪mapreduce作业的

hadoop发展史：
1).hadoop起源于一个开源的网络搜索引擎，叫做apache Nutch，他本身是lucene项目的一部分NUtch项目开始于2002年，但是遇到了一些问题。。
2).google 2003年发表一篇论文《谷歌分布式文件系统》，简称GFS，解决大文件存储的思路
3).2004年NUtch团队按照google的思路开始做Nutch自己的分布式文件系统，叫做NDFS
4).2004年GOOGLE发表论文，向全世界介绍他的Mapreduce系统
5).2005年Nutch团队所有算法都是用 Mapreduce与 NDFS
6).创始人加入雅虎，在雅虎HADOOP经过了长足的发展
7).2008年1月，HADOOP成为APACHE的顶级项目
8).2008年4月，HADOOP打破世界纪录，成为最快的TB级数据排序系统
从此之后，HADOOP跃升为企业主流操作系统
现在干啥都说我们根据大数据分析。。。。

hadoop 组件

尽管hadoop因为mapreduce及其分布式文件系统HDFS而出名（HDFS，由NDFS改名而来）
但是HADOOP这个名字其实是用来泛指一组相关的项目，这些项目都使用这个基础平台进行分布式计算和海量数据处理

我下面提到的都是受apache 基金会支持的，该基金会对开源软件项目社区提供支持
随着hadoop的成长，新项目越来越多，其中不乏好多不受apache主管的项目，
也对hadoop生态系统提供了很大帮助

• Mapreduce：分布式数据处理模型和执行环境

• HDFS：分布式文件系统

• PIG：猪，数据流语言与运行环境，用于探究非常庞大的数据集，PIG运行Mapreduce和HDFS集群上

• HIVE：蜂巢 ，hive管理HDFS中存储的数据，并提供基于sql语言的查询语言，Hive的设计目的是让精通SQL技能（但java编程基础很弱）的分析师能够对facebook存放在HDFS上中的大规模数据进行查询

• HBASE：一种分布式的，按列存储的数据仓库。Hbase使用HDFS作为底层存储，同时支持MAPreduce的批量式计算
  和点查询（随机读取）

• Zookeeper： 一种分布式的、可用性高的协调服务。zookeeper多用来构建分布式应用
  还有很多，这里就不一一介绍了