hdfs高可用(HA)的搭建

一、HA的运作机制

（1）hadoop-HA集群运作机制介绍
所谓HA，即高可用（7*24小时不中断服务）
实现高可用最关键的是消除单点故障
hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA

（2）HDFS的HA机制详解
通过双namenode消除单点故障
双namenode协调工作的要点：
    A、元数据管理方式需要改变：
    内存中各自保存一份元数据
    Edits日志只能有一份，只有Active状态的namenode节点可以做写操作
    两个namenode都可以读取edits
    共享的edits放在一个共享存储中管理（qjournal和NFS两个主流实现）
    B、需要一个状态管理功能模块
    实现了一个zkfailover，常驻在每一个namenode所在的节点
    每一个zkfailover负责监控自己所在namenode节点，利用zk进行状态标识
    当需要进行状态切换时，由zkfailover来负责切换
    切换时需要防止brain split现象的发生

===========================================================

=========================================================

============================================================

=====================================================

二、配置的官方文档：

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

三、配置步骤

            node1     node2     node3      node4     node5

namenode     y         y
datanode                           y         y         y
JournalNode                        y         y         y
zkfc         y         y
zookeeper                          y         y         y

1、修改hdfs-site.xml的配置文件

  dfs.nameservices
  myhadoop



  dfs.ha.namenodes.myhadoop
  nn1,nn2



  dfs.namenode.rpc-address.myhadoop.nn1
  node1:8020



  dfs.namenode.rpc-address.myhadoop.nn2
  node2:8020



  dfs.namenode.http-address.myhadoop.nn1
  node1:50070



  dfs.namenode.http-address.myhadoop.nn2
  node2:50070



  dfs.namenode.shared.edits.dir
  qjournal://node3:8485;node4:8485;node5:8485/myhadoop



  dfs.client.failover.proxy.provider.myhadooporg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider



  dfs.ha.fencing.methods
  sshfence



  dfs.ha.fencing.ssh.private-key-files
  /root/.ssh/id_rsa



   dfs.ha.automatic-failover.enabled
   true

 

2、修改core-site.xml的配置

  fs.defaultFS
  hdfs://myhadoop



  hadoop.tmp.dir
  /hadoop



   ha.zookeeper.quorum
   node3:2181,node4:2181,node5:2181

3、slaves的配置

node3

node4

node5

4、修改文件mapred-site.xml的配置

    
        mapreduce.framework.name
        yarn
    

5、修改文件yarn-site.xml的配置

        yarn.nodemanager.aux-services
        mapreduce_shuffle


 
   yarn.resourcemanager.ha.enabled
   true
 

 
   yarn.resourcemanager.cluster-id
   cluster-yarn
 

 
   yarn.resourcemanager.ha.rm-ids
   rm1,rm2
 

 
   yarn.resourcemanager.hostname.rm1
   node1:8088
 
 
   yarn.resourcemanager.hostname.rm2
   node2:8088
 

 
   yarn.resourcemanager.zk-address
   node3:2181,node4:2181,node5:2181
 

6、安装zookeeper

7、改zookeeper默认的配置文件的名字conf/zoo_sample.cfg为conf/zoo.cfg

8、修改zoo.cfg的内容

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/usr/local/zookeeper-3.4.6
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=node3:2888:3888
server.2=node4:2888:3888
server.3=node5:2888:3888

9、在bin/zkEnv.sh文件下配置，log的目录

ZOO_LOG_DIR=/var/zookeeper/log/

10、删除以前安装的hadoop目录

rm -rf /hadoop
rm -rf /usr/local/hadoop-2.5.2/logs/*

注意：严格按照下面的步骤!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

    1、启动zookeeper集群（分别在node3、node4、node5上启动zk）
        cd ../zookeeper-3.4.5/bin/
        ./zkServer.sh start
        #查看状态：一个leader，两个follower
        ./zkServer.sh status
        
    2、启动journalnode（分别在在node3、node4、node5上执行）
        cd /hadoop/hadoop-2.6.4
        sbin/hadoop-daemon.sh start journalnode
        #运行jps命令检验，node3、node4、node5上多了JournalNode进程
    
    3、格式化HDFS
        #在node1上执行命令:
        hdfs namenode -format
        #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/hadoop/hadoop-2.6.4/tmp，然后将/hadoop/hadoop-2.6.4/tmp拷贝到node2的
        /hadoop/hadoop-2.6.4/下。
        scp -r tmp/ node2:/home/hadoop/app/hadoop-2.6.4/
        ##也可以这样，建议在node2下：hdfs namenode -bootstrapStandby
    
    4、格式化ZKFC(在mini1上执行一次即可)
        hdfs zkfc -formatZK
    
    5、启动HDFS(在mini1上执行)
        sbin/start-dfs.sh

    6、启动YARN(#####注意#####：是在node2上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
        sbin/start-yarn.sh

    
到此，hadoop-2.6.4配置完毕，可以统计浏览器访问:
    http://hadoop00:50070
    NameNode 'node1:9000' (active)
    http://node1:50070
    NameNode 'node2:9000' (standby)

验证HDFS HA
    首先向hdfs上传一个文件
    hadoop fs -put /etc/profile /profile
    hadoop fs -ls /
    然后再kill掉active的NameNode
    kill -9 
    通过浏览器访问：http://192.168.1.202:50070
    NameNode 'node2:9000' (active)
    这个时候node2上的NameNode变成了active
    在执行命令：
    hadoop fs -ls /
    -rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
    刚才上传的文件依然存在！！！
    手动启动那个挂掉的NameNode
    sbin/hadoop-daemon.sh start namenode
    通过浏览器访问：http://192.168.1.201:50070
    NameNode 'node1:9000' (standby)

验证YARN：
    运行一下hadoop提供的demo中的WordCount程序：
    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

OK，大功告成！！！


        
    
测试集群工作状态的一些指令 ：
bin/hdfs dfsadmin -report    查看hdfs的各节点状态信息
    
bin/hdfs haadmin -getServiceState nn1    获取一个namenode节点的HA状态

sbin/hadoop-daemon.sh start namenode  单独启动一个namenode进程

./hadoop-daemon.sh start zkfc   单独启动一个zkfc进程

11、启动hadoop集群的时候

1、先启动zookeeper，每个zookeeper服务都要启动
./zkServer.sh start
2、再启动journalnode
3、再启动start-all
进入hadoop的安装目录下的sbin文件夹下（./start-all.sh）

12、关闭集群

hadoop/sbin/
./stop-all.sh