进入到执行:/soft/hadoop-2.7.1/etc/hadoop_cluster$ gedit hdfs-site.xml

[配置部分]

[hdfs-site.xml]

1.配置名称服务:dfs.nameservices

名称服务的逻辑名。

  dfs.nameservices

  mycluster

2.配置nameservice中每个namenode

dfs.ha.namenodes.[nameservice ID]

  dfs.ha.namenodes.mycluster

  nn1,nn2

注意:目前的hadoop2.7.2最多只能配置2namenode

3.配置每个namederpc地址

  dfs.namenode.rpc-address.mycluster.nn1

  s1:8020

  dfs.namenode.rpc-address.mycluster.nn2

  s8:8020

4.配置每个namenodewebui地址

  dfs.namenode.http-address.mycluster.nn1

  machine1.example.com:50070

  dfs.namenode.http-address.mycluster.nn2

  machine2.example.com:50070

5.配置namenode的共享edit log目录

  dfs.namenode.shared.edits.dir

  qjournal://s1:8485;s7:8485;s8:8485/mycluster

 

6.配置客户端容灾代理供应商类

供客户端用来检测那个是namenode是活页节点。

  dfs.client.failover.proxy.provider.mycluster

  org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

7.(可选的)配置HA防护方法名集合.

QJM防止脑裂发生,不存在两个active node

可以配置sshfence或者shell脚本。

8.配置hdfs的文件系统

[core-site.xml]

  fs.defaultFS

  hdfs://mycluster

9.配置JN的本地存放数据(edit log)的目录

  dfs.journalnode.edits.dir

  /home/ubuntu/hadoop/journal

 

2、把core-site.xml文件的客户机名改成如下再颁发给每个虚拟机:

  fs.defaultFS

  hdfs://mycluster

 

3、然后回到hdfs-site.xml里面把

  fs.defaultFS

  hdfs://mycluster

删掉。同样颁发给每个虚拟机

 

4、接下来启动jn进程即:hadoop-daemon.sh starat journalnode

(我是在s1s7s8上分别启动journalnode进程。我一共八台虚拟机)

 

5、将s1hadoop目录下的 dfs拷贝到s8中。即执行:scp -r dfs ubuntu@s8:/home/ubuntu/hadoop

 

6、在开启一个namenode节点的情况下,登录:ssh s8的虚拟机上执行hdfs namenode -bootstrapStandby

 

7、再停止namenode节点,然后 在s1虚拟机上执行:hdfs namenode -initializeSharedEdits

 

8、分别在s1s8上启动namenode即:执行hadoop-daemno.sh start namenode

 

9、最后启动所有的数据节点:hadoop-daemons.sh start datanode (hadoop-daemons.sh是启动所有的节点)

 

管理ha过程

 

1、手动完成状态切换:

hdfs haadmin -transitionToActive nn1

hdfs haadmin -transitionToStandbby nn1