Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

阅读更多

一.概述

1.1 hadoop1.0的单点问题

Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不可靠的表现。如下图所示,便是hadoop1.0的架构图;


Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)_第1张图片
 

1.2 hadoop2.0对hadoop1.0单点问题的解决

为了解决hadoop1中的单点问题,在hadoop2中新的NameNode不再是只有一个,可以有多个(目前只支持2个)。每一个都有相同的职能。一个是active状态的,一个是standby状态的。当集群运行时,只有active状态的NameNode是正常工作的,standby状态的NameNode是处于待命状态的,时刻同步active状态NameNode的数据。一旦active状态的NameNode不能工作,通过手工或者自动切换,standby状态的NameNode就可以转变为active状态的,就可以继续工作了。这就是高可靠。

 

1.3 使用JournalNode实现NameNode(Active和Standby)数据的共享

Hadoop2.0中,2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制,Quorum Journal Node(JournalNode)集群或者Nnetwork File System(NFS)进行共享。NFS是操作系统层面的,JournalNode是hadoop层面的,我们这里使用JournalNode集群进行数据共享(这也是主流的做法)。如下图所示,便是JournalNode的架构图。


Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)_第2张图片
 两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息,并且一直监控edit log的变化,把变化应用于自己的命名空间。standby可以确保在集群出错时,命名空间状态已经完全同步了

 

1.4 NameNode之间的故障切换

对于HA集群而言,确保同一时刻只有一个NameNode处于active状态是至关重要的。否则,两个NameNode的数据状态就会产生分歧,可能丢失数据,或者产生错误的结果。为了保证这点,这就需要利用使用ZooKeeper了。首先HDFS集群中的两个NameNode都在ZooKeeper中注册,当active状态的NameNode出故障时,ZooKeeper能检测到这种情况,它就会自动把standby状态的NameNode切换为active状态。

 

二.Hadoop(HA)集群的搭建

2.1 配置详细
主机名 IP NameNode DataNode Year Zookeeper JournalNode
mast1 192.168.177.131
mast2 192.168.177.132
mast3 192.168.177.133

 

2.2 安装jdk

(省略)安装jdk和配置环境变量

 

2.2 SSH免登录

(省略),参考:http://eksliang.iteye.com/blog/2187265

 

2.4 Zookeeper集群搭建

(省略),参考,http://eksliang.iteye.com/blog/2107002,这是我的solr集群部署,也是使用zookeeper进行管理,zookeeper这里步骤跟操作一模一样,最后我的zoo.cfg文件如下所示

 

Java代码   收藏代码
  1. [hadoop@Mast1 conf]$ cat zoo.cfg   
  2. # The number of milliseconds of each tick  
  3. tickTime=2000  
  4. # The number of ticks that the initial   
  5. # synchronization phase can take  
  6. initLimit=10  
  7. # The number of ticks that can pass between   
  8. # sending a request and getting an acknowledgement  
  9. syncLimit=5  
  10. # the directory where the snapshot is stored.  
  11. dataDir=/home/hadoop/zookeeper/data  
  12. dataLogDir=/home/hadoop/zookeeper/datalog  
  13. # the port at which the clients will connect  
  14. clientPort=2181  
  15. server.1=mast1:2888:3888    
  16. server.2=mast2:2888:3888    
  17. server.3=mast3:2888:3888   

 

 
2.5配置Hadoop配置文件

先配置mast1这台机器,配置后了后,将配置环境,复制到mast2、mast3上面即可!

hadoop2.0的配置存放在~/etc/hadoop目录下面,

 

  • core.xml
Java代码   收藏代码
  1.   
  2.    
  3.        
  4.       fs.defaultFS      
  5.       hdfs://ns      
  6.    
  7.    
  8.    
  9.       hadoop.tmp.dir  
  10.       /home/hadoop/workspace/hdfs/temp  
  11.       
  12.                             
  13.        
  14.       io.file.buffer.size      
  15.       4096      
  16.    
  17.    
  18.    
  19.       ha.zookeeper.quorum  
  20.       mast1:2181,mast2:2181,mast3:2181  
  21.    
  22.    

 

 

  • hdfs-site.xml
Java代码   收藏代码
  1.   
  2.           
  3.           
  4.         dfs.nameservices      
  5.         ns      
  6.         
  7.       
  8.       
  9.        dfs.ha.namenodes.ns  
  10.        nn1,nn2  
  11.       
  12.       
  13.       
  14.        dfs.namenode.rpc-address.ns.nn1  
  15.        mast1:9000  
  16.       
  17.       
  18.       
  19.         dfs.namenode.http-address.ns.nn1  
  20.         mast1:50070  
  21.       
  22.       
  23.       
  24.         dfs.namenode.rpc-address.ns.nn2  
  25.         mast2:9000  
  26.       
  27.       
  28.       
  29.         dfs.namenode.http-address.ns.nn2  
  30.         mast2:50070  
  31.       
  32.       
  33.       
  34.          dfs.namenode.shared.edits.dir  
  35.          qjournal://mast1:8485;mast2:8485;mast3:8485/ns  
  36.       
  37.       
  38.       
  39.           dfs.journalnode.edits.dir  
  40.           /home/hadoop/workspace/journal  
  41.       
  42.       
  43.       
  44.           dfs.ha.automatic-failover.enabled  
  45.           true  
  46.       
  47.       
  48.       
  49.             dfs.client.failover.proxy.provider.ns  
  50.             org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider  
  51.       
  52.       
  53.       
  54.              dfs.ha.fencing.methods  
  55.              sshfence  
  56.       
  57.       
  58.       
  59.             dfs.ha.fencing.ssh.private-key-files  
  60.             /home/hadoop/.ssh/id_rsa  
  61.       
  62.                                 
  63.           
  64.         dfs.namenode.name.dir      
  65.         file:///home/hadoop/workspace/hdfs/name      
  66.           
  67.       
  68.           
  69.         dfs.datanode.data.dir      
  70.         file:///home/hadoop/workspace/hdfs/data      
  71.           
  72.       
  73.           
  74.        dfs.replication      
  75.        2      
  76.          
  77.                                                                           
  78.           
  79.        dfs.webhdfs.enabled      
  80.        true      
  81.           
  82.   

 

 

  • mapred-site.xml
Java代码   收藏代码
  1.   
  2.        
  3.         mapreduce.framework.name      
  4.         yarn      
  5.        
  6.   

 

  • yarn-site.xml
Java代码   收藏代码
  1.   
  2.       
  3.           
  4.             yarn.nodemanager.aux-services      
  5.             mapreduce_shuffle      
  6.          
  7.        
  8.        
  9.             yarn.resourcemanager.hostname  
  10.             mast3  
  11.          
  12.   

 

  • slaves
Java代码   收藏代码
  1. [hadoop@Mast1 hadoop]$ cat slaves  
  2. mast1  
  3. mast2  
  4. mast3  

 

  • 修改JAVA_HOME

 

分别在文件hadoop-env.sh和yarn-env.sh中添加JAVA_HOME配置

Java代码   收藏代码
  1. #export JAVA_HOME=${JAVA_HOME} --原来     
  2. export JAVA_HOME=/usr/local/java/jdk1.7.0_67  

 虽然默认配置了${JAVA_HOME}的环境变量,但是hadoop启动时,会提示找不到,没有办法,指定绝对路径,这个是必须的。

 

  • 配置hadoop的环境变量,参考我的配置
Java代码   收藏代码
  1. [hadoop@Mast1 hadoop]$ vim ~/.bash_profile    
  2. export HADOOP_HOME="/home/hadoop/hadoop-2.5.2"    
  3. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH    
  4. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native    
  5. export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"    

 

  • 将配置复制到mast2、mast3
Java代码   收藏代码
  1. scp -r ~/.bash_profile hadoop@mast2:/home/hadoop/    
  2. scp -r ~/.bash_profile hadoop@mast3:/home/hadoop/    
  3. scp -r $HADOOP_HOME/etc/hadoop hadoop@mast2:/home/hadoop/hadoop-2.5.2/etc/    
  4. scp -r $HADOOP_HOME/etc/hadoop hadoop@mast3:/home/hadoop/hadoop-2.5.2/etc/    

 

 

至此Hadoop的配置完毕,接下来就是启动集群了

 

三.集群的启动

3.1 启动zookeeper集群

分别在mast1、mast2、mast3上执行如下命令启动zookeeper集群;

Java代码   收藏代码
  1. [hadoop@Mast1 bin]$ sh zkServer.sh start  

 验证集群zookeeper集群是否启动,分别在mast1、mast2、mast3上执行如下命令验证zookeeper集群是否启动,集群启动成功,有两个follower节点跟一个leader节点;

Java代码   收藏代码
  1. [hadoop@Mast1 bin]$ sh zkServer.sh status  
  2. JMX enabled by default  
  3. Using config: /home/hadoop/zookeeper/zookeeper-3.3.6/bin/../conf/zoo.cfg  
  4. Mode: follower  
 3.2 启动journalnode集群

在mast1上执行如下命令完成JournalNode集群的启动

Java代码   收藏代码
  1. [hadoop@Mast1 hadoop-2.5.2]$ sbin/hadoop-daemons.sh start journalnode  

 执行jps命令,可以查看到JournalNode的java进程pid

 

3.3 格式化zkfc,让在zookeeper中生成ha节点

在mast1上执行如下命令,完成格式化

Java代码   收藏代码
  1. hdfs zkfc –formatZK  

 (注意,这条命令最好手动输入,直接copy执行有可能会有问题,当时部署时我是蛋疼了许久)

  格式成功后,查看zookeeper中可以看到

Java代码   收藏代码
  1. [zk: localhost:2181(CONNECTED) 1] ls /hadoop-ha  
  2. [ns]  
 
3.4 格式化hdfs
Java代码   收藏代码
  1. hadoop namenode –format  

 (注意,这条命令最好手动输入,直接copy执行有可能会有问题)

 

3.5 启动NameNode

首先在mast1上启动active节点,在mast1上执行如下命令

Java代码   收藏代码
  1. [hadoop@Mast1 hadoop-2.5.2]$ sbin/hadoop-daemon.sh start namenode  

 在mast2上同步namenode的数据,同时启动standby的namenod,命令如下

Java代码   收藏代码
  1. #把NameNode的数据同步到mast2上  
  2. [hadoop@Mast2 hadoop-2.5.2]$ hdfs namenode –bootstrapStandby  
  3. #启动mast2上的namenode作为standby  
  4. [hadoop@Mast2 hadoop-2.5.2]$ sbin/hadoop-daemon.sh start namenode  

 

3.6 启动启动datanode

在mast1上执行如下命令

Java代码   收藏代码
  1. [hadoop@Mast1 hadoop-2.5.2]$ sbin/hadoop-daemons.sh start datanode  

 

3.7 启动year  

在作为资源管理器上的机器上启动,我这里是mast3,执行如下命令完成year的启动

Java代码   收藏代码
  1. [hadoop@Mast3 hadoop-2.5.2]$ sbin/start-yarn.sh   

 

3.8 启动ZKFC

在mast1上执行如下命令,完成ZKFC的启动

Java代码   收藏代码
  1. [hadoop@Mast1 hadoop-2.5.2]$ sbin/hadoop-daemons.sh start zkfc  

全部启动完后分别在mast1,mast2,mast3上执行jps是可以看到下面这些进程的

Java代码   收藏代码
  1. #mast1上的java PID进程  
  2. [hadoop@Mast1 hadoop-2.5.2]$ jps  
  3. 2837 NodeManager  
  4. 3054 DFSZKFailoverController  
  5. 4309 Jps  
  6. 2692 DataNode  
  7. 2173 QuorumPeerMain  
  8. 2551 NameNode  
  9. 2288 JournalNode  
  10. #mast2上的java PID进程  
  11. [hadoop@Mast2 ~]$ jps  
  12. 2869 DFSZKFailoverController  
  13. 2353 DataNode  
  14. 2235 JournalNode  
  15. 4522 Jps  
  16. 2713 NodeManager  
  17. 2591 NameNode  
  18. 2168 QuorumPeerMain  
  19. #mast3上的java PID进程  
  20. [hadoop@Mast3 ~]$ jps  
  21. 2167 QuorumPeerMain  
  22. 2337 JournalNode  
  23. 3506 Jps  
  24. 2457 DataNode  
  25. 2694 NodeManager  
  26. 2590 ResourceManager  

 

四.测试HA的高可用性

启动后mast1的namenode和mast2的namenode如下所示:


Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)_第3张图片
 


Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)_第4张图片
 

此时在mast1上执行如下命令关闭mast1上的namenode

Java代码   收藏代码
  1. [hadoop@Mast1 hadoop-2.5.2]$ sbin/hadoop-daemon.sh stop namenode  

 再次查看mast1上的namenode,发现自动切换为active了!证据如下:


Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)_第5张图片
 

转载出自:http://eksliang.iteye.com/blog/2226986

你可能感兴趣的:(Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper))