Hadoop学习笔记（二）——四节点搭建Hadoop HA（高可用）集群模式

准备工作：
四个节点间的ssh互通，（至少两个NN节点和其他节点ssh互通）；
JDK 1.7+，环境变量配置，各节点保持一致；
/etc/hosts 节点名映射，各节点保持一致；
保证各组件版本间兼容性，推荐使用cdh的jar包

datas : 当做所有软件的安装目录

jars:当做提交jar包的目录。 文本数据目录；

software：软件包目录

workdata: 软件包的数据存放目录

一、关闭防火墙 （永久关闭）
chkconfig iptables off
chkconfig iptables on

二、解压Hadoop包，到datas目录
三、修改配置文件

1）JAVA环境变量的一些配置（有些是可有可无的）

2）hdfs-site.xml

  
	  
		dfs.nameservices .
		st 
	 
 
	 
		dfs.ha.namenodes.st 
		nn1,nn2 
	
  
  
 dfs.namenode.rpc-address.st.nn1
 node1:9000 
  
  
  
 dfs.namenode.http-address.st.nn1
 node1:50070 
  
  
  
 dfs.namenode.rpc-address.st.nn2
 node2:9000
  
  
  
 dfs.namenode.http-address.st.nn2 
 node2:50070 
 
  
  
 dfs.namenode.shared.edits.dir 
 qjournal://node2:8485;node3:8485;node4:8485/st 
  
 
  
 dfs.journalnode.edits.dir 
 /root/journaData 
 
  
  
 dfs.ha.automatic-failover.enabled
 true 
  
  
  
 dfs.client.failover.proxy.provider.st
 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider 
  
 
 
 dfs.ha.fencing.methods
 sshfence 
 shell(/bin/true) 
 
  
 
 dfs.ha.fencing.ssh.private-key-files 
 /root/.ssh/id_dsa 
 
 
  
 dfs.ha.fencing.ssh.connect-timeout 
 30000 
 
 

3)mapred-site.xml

	
	
		mapreduce.framework.name
		yarn
	

4)core-site.xml

 

 fs.defaultFS 
 hdfs://st/ 
 
 
 
 hadoop.tmp.dir 
 /root/hadoopdata
 
  
  
 ha.zookeeper.quorum
 node1:2181,node2:2181,node3:2181 
 

5）yarn-site.xml

  
	 yarn.resourcemanager.ha.enabled 
	 true 
  
 
  
	 yarn.resourcemanager.cluster-id
	 yrc 
  
 
	 yarn.resourcemanager.ha.rm-ids
	 rm1,rm2
 
 
  
	 yarn.resourcemanager.hostname.rm1 
	 node1
 
 
	 yarn.resourcemanager.hostname.rm2
	 node2
 
  
  
	 yarn.resourcemanager.zk-address
	 node1:2181,node2:2181,node3:2181
 
 
	 yarn.nodemanager.aux-services
	 mapreduce_shuffle 
 
 
 
	 yarn.resourcemanager.recovery.enabled
	 true 
 
  
 
	 yarn.resourcemanager.store.class
	 org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore 
 
 
  
	 yarn.log-aggregation-enable
	 true 
 
 
   
	 yarn.log-aggregation.retain-seconds
	 108600 
 
 

四、配置文件分发

scp /usr/cdh/datas/hadoop-2.5.0/etc/hadoop/* root@node2:/usr/cdh/datas/hadoop-2.5.0/etc/hadoop

scp /usr/cdh/datas/hadoop-2.5.0/etc/hadoop/* root@node3:/usr/cdh/datas/hadoop-2.5.0/etc/hadoop

scp /usr/cdh/datas/hadoop-2.5.0/etc/hadoop/* root@node4:/usr/cdh/datas/hadoop-2.5.0/etc/hadoop

五、zookeeper集群配置并启动(之前的博客写过，这里梳理下步骤)

1）解压
2）配置zoo.cfg
3）创建myid文件
4)启动
5）检验 jps bin/zkServer.sh status 用zkCli.sh检验数据

六、Hadoop启动前初始化：
1）在各个JournalNode节点下，输入命令启动journalnode服务：
sbin/hadoop-daemon.sh start journalnode

2) 在第一个NN节点，格式化源文件；成功后启动。
sbin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

3)去第二个NN节点，同步第一个NN节点的源数据文件；
bin/hdfs namenode -bootstrapStandby

成功后，关闭所有的节点任务。重新启动JN，然后是NN，
ps: 主备切换命令： bin/hdfs haadmin -transitionToActive nn1（nn2）

4）在active节点的NN上，启动所有DN
sbin/hadoop-daemon.sh start datanode
-----------------以后可以直接用一条命令启动hdfs ----------------------------------------------

手动杀掉NN1的进程，实验主动切换是否生效：

完成了自动故障转移，切换了NN的active节点。手动恢复后的NN，已经变成了备用节点了

---------------------------------------------------------------------------------------------------
5）HA yarn启动前的准备工作
          a、关闭HDFS的所有服务（比较烦，没办法）cmd: sbin/stop-dfs.sh
          b、初始化HA 在zookeeper上的状态 cmd: bin/hdfs zkfc -formatZK

        

        c、启动所有的hdfs，可以用start-dfs.sh脚本启动（它会自动启动zkfc）
        d、如果是组个启动的话，哪台集群的zkfc先启动，就会是active的NN，这个zookeeper的选举机制有关
        e、启动yarn cmd：sbin/start-yarn.sh

      

(内容直接从我笔记里粘出来的，在这里不太好编辑，我把原笔记上传到资源里。如果博客看到不太舒服，可以去下载看)

资源下载:https://download.csdn.net/download/qq_38872310/10776666