盘点Hadoop生态圈：13个让大象飞起来的开源工具

盘点Hadoop生态圈：13个让大象飞起来的开源工具

发表于 2014-01-02 10:32|  17212次阅读| 来源 CSDN|  42 条评论| 作者 仲浩

大数据 Hadoop 开源

allowtransparency="true" frameborder="0" scrolling="no" src="http://hits.sinajs.cn/A1/weiboshare.html?url=http%3A%2F%2Fwww.csdn.net%2Farticle%2F2014-01-01%2F2817984-13-tools-let-hadoop-fly&type=3&count=&appkey=&title=%E5%80%9F%E5%8A%A9Google%E7%9A%84%E4%B8%89%E5%A4%A7%E8%AE%BA%E6%96%87%EF%BC%8CHadoop%E6%89%93%E5%BC%80%E4%BA%86%E4%BD%8E%E6%88%90%E6%9C%AC%E6%B5%B7%E9%87%8F%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E4%B9%8B%E9%97%A8%EF%BC%9B%E5%90%8C%E6%97%B6%EF%BC%8C%E5%80%9F%E5%8A%A9%E4%BA%86%E5%BC%80%E6%BA%90%E8%BF%90%E5%8A%A8%EF%BC%8CHadoop%E7%94%9F%E6%80%81%E5%9C%88%E5%BE%97%E4%BB%A5%E8%BF%85%E9%80%9F%E6%88%90%E7%86%9F%EF%BC%8C%E4%B9%9F%E5%82%AC%E7%94%9F%E4%BA%86%E5%A4%84%E7%90%86%E5%90%84%E7%A7%8D%E4%B8%9A%E5%8A%A1%E5%8F%8A%E6%95%B0%E6%8D%AE%E7%9A%84%E5%B7%A5%E5%85%B7%EF%BC%8C%E8%BF%99%E9%87%8C%E5%B8%A6%E5%A4%A7%E5%AE%B6%E5%9B%9E%E9%A1%BE2013%E5%B9%B4%E8%AE%A9%E5%A4%A7%E8%B1%A1%E9%A3%9E%E8%B5%B7%E6%9D%A5%E7%9A%8413%E7%A7%8D%E5%B7%A5%E5%85%B7%E3%80%82&pic=&ralateUid=&language=zh_cn&rnd=1426295516367" width="22" height="16"> 摘要：借助Google的三大论文，Hadoop打开了低成本海量数据处理之门；同时，借助了开源运动，Hadoop生态圈得以迅速成熟，也催生了处理各种业务及数据的工具，这里带大家回顾2013年让大象飞起来的13种工具。

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo! Doug Cutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让其一度陷入困境——批处理的工作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。因此，各种基于Hadoop的工具应运而生，本次为大家分享Hadoop生态系统中最常用的13个开源工具，其中包括资源调度、流计算及各种业务针对应用场景。首先，我们看资源管理相关。

---

CSDN推荐：欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验，生态圈发展趋势。

---

资源统一管理/调度系统

在公司和机构中，服务器往往会因为业务逻辑被拆分为多个集群，基于数据密集型的处理框架也是不断涌现，比如支持离线处理的MapReduce、支持在线处理的Storm及Impala、支持迭代计算的Spark及流处理框架S4，它们诞生于不同的实验室，并各有所长。为了减少管理成本，提升资源的利用率，一个共同的想法产生——让这些框架运行在同一个集群上；因此，就有了当下众多的资源统一管理/调度系统，比如Google的Borg、Apache的YARN、Twitter的Mesos（已贡献给Apache基金会）、腾讯搜搜的Torca、 Facebook Corona（开源），本次为大家重点介绍Apache Mesos及YARN：

1. Apache Mesos

代码托管地址： Apache SVN

Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、 MPI、Hypertable、Spark等。

Mesos是Apache孵化器中的一个开源项目，使用ZooKeeper实现容错复制，使用Linux Containers来隔离任务，支持多种资源计划分配（内存和CPU）。提供Java、Python和C++ APIs来开发新的并行应用程序，提供基于Web的用户界面来提查看集群状态。

2. Hadoop YARN

代码托管地址： Apache SVN

YARN又被称为MapReduce 2.0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供 Java 虚拟机内存的隔离。

对比MapReduce 1.x，YARN架构在客户端上并未做太大的改变，在调用 API 及接口上还保持大部分的兼容，然而在YARN中，开发人员使用 ResourceManager、ApplicationMaster 与 NodeManager代替了原框架中核心的 JobTracker 和 TaskTracker。其中 ResourceManager 是一个中心的服务，负责调度、启动每一个 Job 所属的 ApplicationMaster，另外还监控 ApplicationMaster 的存在情况；NodeManager负责 Container 状态的维护，并向 RM 保持心跳。ApplicationMaster 负责一个 Job 生命周期内的所有工作，类似老的框架中 JobTracker。

Hadoop上的实时解决方案

前面我们有说过，在互联网公司中基于业务逻辑需求，企业往往会采用多种计算框架，比如从事搜索业务的公司：网页索引建立用MapReduce，自然语言处理用Spark等。本节为大家分享的则是Storm、Impala、Spark三个框架： 

3. Cloudera Impala

代码托管地址： GitHub

Impala是由Cloudera开发，一个开源的Massively Parallel Processing（MPP）查询引擎 。与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(Hue Beeswax)，可以直接在HDFS或HBase上提供快速、交互式SQL查询。Impala是在Dremel的启发下开发的，第一个版本发布于2012年末。

Impala不再使用缓慢的Hive+MapReduce批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。

4. Spark

代码托管地址： Apache

Spark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校AMPLab开发，建立于HDFS之上。Spark与Hadoop一样，用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现，使用Scala作为应用框架。

Spark采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询。与Hadoop不同的是，Spark和Scala紧密集成，Scala像管理本地collective对象那样管理分布式数据集。Spark支持分布式数据集上的迭代式任务，实际上可以在Hadoop文件系统上与Hadoop一起运行（通过YARN、Mesos等实现）。

5. Storm

代码托管地址： GitHub

Storm是一个分布式的、容错的实时计算系统，由BackType开发，后被Twitter捕获。Storm属于流处理平台，多用于实时计算并更新数据库。Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。

Hadoop上的其它解决方案

就像前文说，基于业务对实时的需求，各个实验室发明了Storm、Impala、Spark、Samza等流实时处理工具。而本节我们将分享的是实验室基于性能、兼容性、数据类型研究的开源解决方案，其中包括Shark、Phoenix、Apache Accumulo、Apache Drill、Apache Giraph、Apache Hama、Apache Tez、Apache Ambari。

6. Shark

代码托管地址： GitHub

Shark，代表了“Hive on Spark”，一个专为Spark打造的大规模数据仓库系统，兼容Apache Hive。无需修改现有的数据或者查询，就可以用100倍的速度执行Hive QL。

Shark支持Hive查询语言、元存储、序列化格式及自定义函数，与现有Hive部署无缝集成，是一个更快、更强大的替代方案。

7. Phoenix

代码托管地址： GitHub

Phoenix是构建在Apache HBase之上的一个SQL中间层，完全使用Java编写，提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix完全托管在GitHub之上。

Phoenix值得关注的特性包括：1，嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API；2，可以通过多个行键或是键/值单元对列进行建模；3，DDL支持；4，版本化的模式仓库；5，DML支持；5，通过客户端的批处理实现的有限的事务支持；6，紧跟ANSI SQL标准。

8. Apache Accumulo

代码托管地址： Apache SVN

Apache Accumulo是一个可靠的、可伸缩的、高性能、排序分布式的键值存储解决方案，基于单元访问控制以及可定制的服务器端处理。使用 Google BigTable设计思路，基于Apache Hadoop、Zookeeper和Thrift构建。Accumulo最早由NSA开发，后被捐献给了Apache基金会。

对比Google BigTable，Accumulo主要提升在基于单元的访问及服务器端的编程机制，后一处修改让Accumulo可以在数据处理过程中任意点修改键值对。

9. Apache Drill

代码托管地址： GitHub

本质上，Apache Drill是Google Dremel的开源实现，本质是一个分布式的mpp查询层，支持SQL及一些用于NoSQL和Hadoop数据存储系统上的语言，将有助于Hadoop用户实现更快查询海量数据集的目的。当下Drill还只能算上一个框架，只包含了Drill愿景中的初始功能。

Drill的目的在于支持更广泛的数据源、数据格式及查询语言，可以通过对PB字节数据的快速扫描（大约几秒内）完成相关分析，将是一个专为互动分析大型数据集的分布式系统。

10. Apache Giraph

代码托管地址： GitHub

Apache Giraph是一个可伸缩的分布式迭代图处理系统，灵感来自BSP（bulk synchronous parallel）和Google的Pregel，与它们 区别于则是是开源、基于 Hadoop 的架构等。

Giraph处理平台适用于运行大规模的逻辑计算，比如页面排行、共享链接、基于个性化排行等。Giraph专注于社交图计算，被Facebook作为其Open Graph工具的核心，几分钟内处理数万亿次用户及其行为之间的连接。

11. Apache Hama

代码托管地址： GitHub

Apache Hama是一个建立在Hadoop上基于BSP（Bulk Synchronous Parallel）的计算框架，模仿了Google的Pregel。用来处理大规模的科学计算，特别是矩阵和图计算。集群环境中的系统架构由 BSPMaster/GroomServer（Computation Engine）、Zookeeper（Distributed Locking）、HDFS/HBase（Storage Systems）这3大块组成。 

12. Apache Tez

代码托管地址： GitHub

Apache Tez是基于Hadoop Yarn之上的DAG（有向无环图，Directed Acyclic Graph）计算框架。它把Map/Reduce过程拆分成若干个子过程，同时可以把多个Map/Reduce任务组合成一个较大的DAG任务，减少了Map/Reduce之间的文件存储。同时合理组合其子过程，减少任务的运行时间。由Hortonworks开发并提供主要支持。 

13. Apache Ambari

代码托管地址： Apache SVN

Apache Ambari是一个供应、管理和监视Apache Hadoop集群的开源框架，它提供一个直观的操作工具和一个健壮的Hadoop API,可以隐藏复杂的Hadoop操作，使集群操作大大简化，首个版本发布于2012年6月。

Apache Ambari现在是一个Apache的顶级项目，早在2011年8月，Hortonworks引进Ambari作为Apache Incubator项目，制定了Hadoop集群极致简单管理的愿景。在两年多的开发社区显著成长，从一个小团队，成长为Hortonworks各种组织的贡献者。Ambari用户群一直在稳步增长，许多机构依靠Ambari在其大型数据中心大规模部署和管理Hadoop集群。

目前Apache Ambari支持的Hadoop组件包括：HDFS、MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。（文/仲浩 审校/周小璐）