接上篇后续配置


一.配置环境

redhat6.5

server1 172.25.29(50).1  hadoop master nfs

server2 172.25.29(50).2  zookeeper nfs

server3 172.25.29(50).3  zookeeper nfs

server4 172.25.29(50).4  zookeeper nfs

server5 172.25.29(50).5  高可用备机 nfs

使用 nfs 共享同步配置文件，之前配置好java运行环境


二.Hadoop  name node节点高可用配置

1.配置Zookeeper 集群，至少三台


Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第1张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第2张图片


c77529a698ff806b4deed4e15e6121ef.png

bf71f7a909c77128ecb7bd7aa1fdc474.png

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第3张图片


2.在各节点启动zookeeper发现服务

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第4张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第5张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第6张图片


3.Hadoop 配置

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第7张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第8张图片


编辑 hdfs-site.xml 文件:



dfs.nameservices
masters



dfs.ha.namenodes.masters
h1,h2



dfs.namenode.rpc-address.masters.h1
172.25.29.1:9000



dfs.namenode.http-address.masters.h1
172.25.29.1:50070



dfs.namenode.rpc-address.masters.h2
172.25.29.5:9000



dfs.namenode.http-address.masters.h2
172.25.29.5:50070



dfs.namenode.shared.edits.dir
qjournal://172.25.29.2:8485;172.25.29.3:8485;172.25.29.4:8485/masters



dfs.journalnode.edits.dir
/tmp/journaldata


dfs.ha.automatic-failover.enabled
true



dfs.client.failover.proxy.provider.masters
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvid
er



dfs.ha.fencing.methods

sshfence
shell(/bin/true)




dfs.ha.fencing.ssh.private-key-files
/home/hadoop/.ssh/id_rsa



dfs.ha.fencing.ssh.connect-timeout
30000


Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第9张图片


4.主机之间设置免密

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第10张图片


5.格式化之前删除tmp下的数据，以免影响后面的操作

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第11张图片

ae40504ebe602db5ba727249d4a61feb.png

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第12张图片

4a5fe2410717ee26fc90815ef2bd09a4.png

e7686e0e900d3d9ee6a2670bd000a1e1.png


6.在三个 DN 上依次启动 journalnode(第一次启动 hdfs 必须先启动 journalnode)

0bf5054623ffb151abd469db4f925279.png

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第13张图片

9cc7651972050083c36101374fc13778.png


7.格式化 HDFS 集群


Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第14张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第15张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第16张图片


8.启动 hdfs 集群

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第17张图片


ab540e37db0ce53b29b77bfa8b69ccd1.png

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第18张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第19张图片

17f2afbd900f89049f1eea3d498f8e05.png

e5fdc5f1b882bf52f7928f5f8220adfa.png


9.web登陆172.25.29.1:50070

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第20张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第21张图片



测试：关闭server1的name node进程，master切换到5上

server1 kill -9 3184

server1宕掉，server5接管

a44e087d6073f5a077e9315d69527124.png

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第22张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第23张图片Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第24张图片



三.Hadoop yarn 的高可用

1.在hadoop/etc/hadoop下编辑 mapred-site.xml 文件

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第25张图片



2.在hadoop/etc/hadoop下编辑 yarn-site.xml 文件



yarn.nodemanager.aux-services
mapreduce_shuffle



yarn.resourcemanager.ha.enabled
true


yarn.resourcemanager.cluster-id
RM_CLUSTER



yarn.resourcemanager.ha.rm-ids
rm1,rm2



yarn.resourcemanager.hostname.rm1
172.25.29.1



yarn.resourcemanager.hostname.rm2
172.25.29.5



yarn.resourcemanager.recovery.enabled
true



yarn.resourcemanager.store.class
org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStorevalue>



yarn.resourcemanager.zk-address
172.25.29.2:2181,172.25.29.3:2181,172.25.29.4:2181



3.启动 yarn 服务

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第26张图片


server5 RM2 上需要手动启动

3a3579fed1d3c2cc4eaa6f9354b5b7d4.png


4.测试

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第27张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第28张图片



在server1上 kill -9 3593 进程，master切换到server5上

d75f7ac4a2713e0f94d83cd7d518a4a5.png

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第29张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第30张图片


四.Hbase 分布式部署

1.hbase 配置


Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第31张图片


指定 java 目录

指定 hadoop 目录,否则 hbase无法识别 hdfs 集群配置

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第32张图片


2.vim hbase-site.xml



hbase.rootdir
hdfs://masters/hbase



hbase.cluster.distributed
true



hbase.zookeeper.quorum
172.25.29.2,172.25.29.3,172.25.29启动 hbase.4



dfs.replication
2


hbase.master
h1



Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第33张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第34张图片

3.启动 hbase

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第35张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第36张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第37张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第38张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第39张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第40张图片


4.备节点手动运行

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第41张图片


5.查看配置结果

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第42张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第43张图片

Linux的企业-Hadoop（namenode，yarn 的高可用）Hbase 分布式部署_第44张图片