基于Hadoop生态圈的数据仓库实践 —— 环境搭建（一）

一、Hadoop版本选型
        主流的Hadoop生态圈有Apache、Cloudera、HortonWorks、MapR几个不同版本，其中Cloudera、HortonWorks、MapR这几个是开源产品的商业分发版，其价值主要体现在两个方面：（1）对Hadoop生态圈中各种各样的组件进行兼容性测试并打包；（2）提供工具简化Hadoop集群的安装和建立。

        Hadoop开源版本的主要挑战在于搞清楚哪些组件的哪些版本是相互兼容的。事实证明，保持Hadoop生态圈开源社区中众多相关项目的版本同步是非常困难的。实际上基于版本的兼容性是会随着版本改变的。保持对这些依赖性的跟踪并了解哪些版本可以在一起协同工作并不容易。为了使Hadoop的部署更加顺利，许多公司已经把多种兼容的组件打包在一起。

        集群的建立和管理是另一个主要挑战。安装集群并在安装后监控集群的健康状况都比较困难。Hadoop主要分发版本通过提供多种工具，使集群的建立和管理简化了很多。

        每种主要分法版本所包含的的组件集合都不尽相同。例如，Cloudera包含Impala，而HortonWorks里就没有。这些区别会给选择分发版本带来疑惑 —— 并不是每一个分发版本都包含Hadoop生态圈的所有工具。

        在后面的数据仓库实践中会用到Sqoop、Hive、Oozie、Impala、Hue等工具，出于简单部署的原则，这里选择CDH 5.7.0，并启用相关服务。