Apache Hadoop 2.0.5-alpha 相对前版本的改进

 

Apache Hadoop 2.0.5-alpha  相比以前发布的稳定版本有了显著的改进。

下面是一个简短的概述,包含分布式文件系统(Hadoop Distributed File System)和MapReduce方面的改进。

 

HDFS 联合

 

        为了横向地测量命名服务的,federation采用多重独立的命名节点/命名空间

 

        这些命名节点是federated的,这意味着,这些命名节点是独立的,而且不要求与其他命名节点协同工作。数据节点作为块的公共存储器被所有命名节点使用。在cluster中,每一个数据节点被注册到所有的命名节点上。数据节点会定期发送心跳和块报告到命名节点,并处理来自命名节点的命令。

 

        更多详情,见 HDFS Federation 文档。

 

 

下一代MapReduce ,又称YERN,又称MRv2

 

         在hadoop-0.23中引入的新架构,把JobTracker的两大主要功能(资源管理和任务生命周期管理)分到了不同的组件中。

 

         新的资源管理者管理应用程序需要的全局计算机资源的分配,每个应用程序的主人管理着这个应用程序的调度和协调。

 

         一个应用程序要么是上一代MapReduce任务意义上的一个单独的任务,要么是一打这样的任务。

 

        一个资源管理者和每台机器的节点管理者守护进程,管理着那台机器上的用户进程,形成计算载体。

 

        每个应用程序的主人,实际上是一个特定的框架库,并负责与资管管理者交互且与节点管理者协同工作,执行和监控任务。

 

        更多详情,见YARN文档。

 

原英文文档:http://hadoop.apache.org/docs/r2.0.5-alpha/

 

 

你可能感兴趣的:(Apache Hadoop 2.0.5-alpha 相对前版本的改进)