Hdfs的Federation(联盟)

图解Federation

Federation图解

Federation的配置

     将上篇《Hadoop分布式部署》的hadoop-master和hadoop-salve1为NameNode，hadoop-salve1同事也是DataNode.

     备注：在实际生产环境中，一台机器不能同时为NameNode、DataNode，否则影响性能

    修改hadoop-master的配置文件

     1、core-site.xml 去掉fs.defaultFS的配置

      2、hdfs-site.xml修改如下

    dfs.nameservices

    ns1,ns2

 

 

    dfs.namenode.rpc-address.ns1

    172.26.73.102:9000

 

 

    dfs.namenode.http-address.ns1

    172.26.73.102:50070

 

 

    dfs.namenode.secondaryhttp-address.ns1

    172.26.73.102:50090

 

 

    dfs.namenode.rpc-address.ns2

    172.26.73.103:9000

 

 

    dfs.namenode.http-address.ns2

    172.26.73.103:50070

 

 

    dfs.namenode.secondaryhttp-address.ns2

    172.26.73.103:50090

 

将hadoop的目录，传送到其它服务器

scp -r /root/* root@hadoop-slave1:/root

 scp -r /root/* root@hadoop-slave2:/root

格式化hadoop-master和hadoop-salve1的NameNode

   在两台机器上，分别执行 ：hdfs namenode -format -clusterid collen   //collen 为clustid，可以随意命名

 启动

   在hadoop-master 运行start-all.sh,在各个机器上用jps查看，是否正常。