Hadoop升级方案（二）：从Hadoop 1.0升级到2.0（2）

作者: Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及 版权声明
网址: http://dongxicheng.org/mapreduce-nextgen/hadoop-upgrade-to-version-2-2/
本博客的文章集合: http://dongxicheng.org/recommend/

重大消息：我的Hadoop新书《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》已经开始在各大网站销售了，购书链接地址： 当当购书网址， 京东购书网址， 卓越购书网址。新书官方宣传主页： http://hadoop123.com/。

在前一篇文章“ Hadoop升级方案（二）：从Hadoop 1.0升级到2.0（1）”中，我已经介绍了如何从Hadoop 1.0升级到2.0，且启用2.0的HA功能。本文将重点介绍如何同时启动2.0的HA和federation功能。本文主要介绍配置方法，具体的升级流程和服务启动方式可参考前一篇文章。

1. 基础知识准备

由于Hadoop 2.0增加了很多新的特性，包括HDFS HA，HDFS Federation，新的资源管理系统YARN等，在部署Hadoop 2.0之前，你需要对这些特性有一个理论上的了解，推荐阅读以下资料：

（1）  HDFS Federation设计动机与基本原理

（2）  Hadoop 2.0中单点故障解决方案总结

（3） Hadoop YARN资料汇总

（4） Hadoop 2.2.0设计文档

2. 启用HA 和Federation

前面一篇文章介绍了HA的配置方法，即整个集群只有一个对外可用的namenode，同时为这个namenode增加一个backup namenode以解决HDFS单点故障问题，如下图所示：

为了启用federation，我们需再增加N个namenode，并为每个namenode添加一个backup namenode，以解决每个namenode的单点故障问题。本文介绍N=1的情况，其他情况类似。再增加一个namenode和backup namenode后，部署架构如下：

该结构的配置方法可参考 “Hadoop 2.0 NameNode HA和Federation实践”和“ Apache官网给出的Federation配置方法”。

3. 启用client side moutable table

当启用HDFS Federation功能时，由于存在多个namenode视图，可能会给用户使用带来不便，为此，可通过配置client-side mount table为用户提供一个统一HDFS访问视图，这是通过新引入的文件系统viewfs实现的，关于viewfs的介绍，可参考我的这篇文章“ HDFS Federation客户端(viewfs)配置攻略”。配有client-side mount table的客户端访问图如下：

同样，配置方法可参考 “Hadoop 2.0 NameNode HA和Federation实践”和“ User Guide for how to use viewfs with federation”。

原创文章，转载请注明： 转载自 董的博客

本文链接地址: http://dongxicheng.org/mapreduce-nextgen/hadoop-upgrade-to-version-2-2/

作者： Dong，作者介绍： http://dongxicheng.org/about/

本博客的文章集合: http://dongxicheng.org/recommend/

Copyright © 2013
This feed is for personal, non-commercial use only.
The use of this feed on other websites breaches copyright. If this content is not in your news reader, it makes the page you are viewing an infringement of the copyright. (Digital Fingerprint:
)