Hadoop是什么
What Is Apache Hadoop?
The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
起源：
1. HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
2. 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。
——分布式文件系统（GFS），可用于处理海量网页的存储
——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。
3. Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目，迎来了它的快速发展期。
为了解决以下问题：
•海量数据的存储（HDFS）
•海量数据的分析（MapReduce）
•资源管理调度（YARN）
hadoop的核心组件：
HDFS: Hadoop Distributed File System 分布式文件系统
YARN: Yet Another Resource Negotiator 资源管理调度系统
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算
MAPREDUCE：分布式运算程序开发框架
HIVE：基于大数据技术（文件系统+运算框架）的SQL数据仓库工具
HBASE：基于HADOOP的分布式海量数据库
ZOOKEEPER：分布式协调服务基础组件
Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库
Oozie：工作流调度框架
Sqoop：数据导入导出工具
Flume：日志数据采集框架
hadoop的各个版本：
目前Hadoop的发行版除了Apache的开源版本之外，还有华为发行版、Intel发行版、Cloudera发行版(CDH)、Hortonworks发行版（HDP）、MapR等，所有这些发行版均是基于Apache Hadoop衍生出来的，因为Apache Hadoop的开源协议允许任何人对其进行修改并作为开源或者商业产品发布。
Apache社区版本
- 优点：
-
- 完全开源免费。
- 社区活跃
- 文档、资料详实
- 缺点：
-
- 复杂的版本管理。版本管理比较混乱的，各种版本层出不穷，让很多使用者不知所措。
- 复杂的集群部署、安装、配置。通常按照集群需要编写大量的配置文件，分发到每一台节点上，容易出错，效率低下。
- 复杂的集群运维。对集群的监控，运维，需要安装第三方的其他软件，如ganglia，nagois等，运维难度较大。
- 复杂的生态环境。在Hadoop生态圈中，组件的选择、使用，比如Hive，Mahout，Sqoop，Flume，Spark，Oozie等等，需要大量考虑兼容性的问题，版本是否兼容，组件是否有冲突，编译是否能通过等。经常会浪费大量的时间去编译组件，解决版本冲突问题。
内大多数公司发行版是收费的，比如Intel发行版、华为发行版等。不收费的Hadoop版本主要有国外的四个，分别是Apache基金会hadoop、Cloudera版本（CDH）、Hortonworks版本（HDP）、MapR版本
第三方发行版本（如CDH，HDP，MapR等）
- 优点：
-
- 基于Apache协议，100%开源。
- 版本管理清晰。比如Cloudera，CDH1，CDH2，CDH3，CDH4，CDH5 等，后面加上补丁版本，如CDH4.1.0 patch level 923.142，表示在原生态Apache Hadoop 0.20.2基础上添加了1065个patch。
- 比Apache Hadoop在兼容性、安全性、稳定性上有增强。第三方发行版通常都经过了大量的测试验证，有众多部署实例，大量的运行到各种生产环境。
- 版本更新快。通常情况，比如CDH每个季度会有一个update，每一年会有一个release。
- 基于稳定版本Apache Hadoop，并应用了最新Bug修复或Feature的patch
- 提供了部署、安装、配置工具，大大提高了集群部署的效率，可以在几个小时内部署好集群。
- 运维简单。提供了管理、监控、诊断、配置修改的工具，管理配置方便，定位问题快速、准确，使运维工作简单，有效。
Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则NameNode HA等新的重大特性。第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x增加了NameNode HA和Wire-compatibility两个重大特性
经过上面的大体解释，大家可能明白了Hadoop以重大特性区分各个版本的，总结起来，用于区分Hadoop版本的特性有以下几个：
（1）Append 支持文件追加功能，如果想使用HBase，需要这个特性。
（2）RAID 在保证数据可靠的前提下，通过引入校验码较少数据块数目。详细链接： https://issues.apache.org/jira/browse/HDFS/component/12313080
（3）Symlink 支持HDFS文件链接，具体可参考： https://issues.apache.org/jira/browse/HDFS-245
（4）Security Hadoop安全，具体可参考：https://issues.apache.org/jira/browse/HADOOP-4487
（5） NameNode HA 具体可参考：https://issues.apache.org/jira/browse/HDFS-1064
（6） HDFS Federation和YARN
更多新的版本信息可在官网查看：
http://hadoop.apache.org/releases.html
Apache Hadoop版本对其它组件的支持
在部署的时候,需要注意hadoop版本与其它生态圈组件例如hbase的版本匹配。
因为hadoop的版本与其它组件并不是版本向上兼容向下兼容那么简单。
有些版本不对应直接就不能使用。
哪个版本对应哪个版本的组件 需要在组件官网中查询。
例如hbase：http://hbase.apache.org/book.html#configuration
更多组件官网入口可查看:
http://hadoop.apache.org/releases.html#Release+Notes
在组件getStart页面 一般都会有说明 或者在组件的 release 页面可查看到相关版本信息。例如 hive:
