Apache Hadoop版本详解分享

本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程，并给出了选择Hadoop版本的一些建议。感兴趣的朋友一起看看吧
由于Hadoop版本混乱多变，因此，Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程，并给出了选择Hadoop版本的一些建议。

1.Apache HadoopApache版本衍化

截至目前（2012年12月23日），ApacheHadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则NameNodeHA等新的重大特性。第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x增加了NameNodeHA和Wire-compatibility两个重大特性。

经过上面的大体解释，大家可能明白了Hadoop以重大特性区分各个版本的，总结起来，用于区分Hadoop版本的特性有以下几个：

（1）Append支持文件追加功能，如果想使用HBase，需要这个特性。

（2）RAID在保证数据可靠的前提下，通过引入校验码较少数据块数目。详细链接：

https://issues.apache.org/jira/browse/HDFS/component/12313080

（3）Symlink支持HDFS文件链接，具体可参考：https://issues.apache.org/jira/browse/HDFS-245

（4）SecurityHadoop安全，具体可参考：https://issues.apache.org/jira/browse/HADOOP-4487

（5）NameNodeHA具体可参考：https://issues.apache.org/jira/browse/HDFS-1064

（6）HDFSFederation和YARN

需要注意的是，Hadoop2.0主要由Yahoo独立出来的hortonworks公司主持开发。

Apache版本下载

（1）各版本说明：http://hadoop.apache.org/releases.html。

（2）下载稳定版：找到一个镜像，下载stable文件夹下的版本。

（3）Hadoop最全版本：http://svn.apache.org/repos/asf/hadoop/common/branches/，可直接导到eclipse中。

2.Cloudera HadoopCDH版本衍化

Apache当前的版本管理是比较混乱的，各种版本层出不穷，让很多初学者不知所措，相比之下，Cloudera公司的Hadoop版本管理的要很多。

我们知道，Hadoop遵从Apache开源协议，用户可以免费地任意使用和修改Hadoop，也正因此，市面上出现了很多Hadoop版本，其中比较出名的一是Cloudera公司的发行版，我们将该版本称为CDH（ClouderaDistributionHadoop）。截至目前为止，CDH共有4个版本，其中，前两个已经不再更新，最近的两个，分别是CDH3（在Apache Hadoop0.20.2版本基础上演化而来的）和CDH4在Apache Hadoop2.0.0版本基础上演化而来的），分别对应Apache的Hadoop 1.0和Hadoop2.0，它们每隔一段时间便会更新一次。

Cloudera以patch level划分小版本，比如patch level为923.142表示在原生态Apache Hadoop0.20.2基础上添加了1065个patch（这些patch是各个公司或者个人贡献的，在Hadoopjira上均有记录），其中923个是最后一个beta版本添加的patch，百度收录批量查询而142个是稳定版发行后新添加的patch。由此可见，patchlevel越高，功能越完备且解决的bug越多。

Cloudera版本层次更加清晰，且它提供了适用于各种操作系统的Hadoop安装包，可直接使用apt-get或者yum命令进行安装，更加省事。