• 一:系统环境配置
  • 二:编辑改变hadoop 的配置文件
  • 三: 启动服务节点:
  • 四:HDFS Federation环境测试

一:系统环境配置:

  承接 在上文档hadoop 分布式的文档进行部署

二: 编辑改变hadoop 的配置文件

   编辑core-site.xml 文件:
   master.hadop.com 的core-site 文件配置
   vim core-site.xml


      fs.defaultFS
      hdfs://master.hadoop.com:8020
    
    
        hadoop.tmp.dir
        /home/hadoop/yangyang/hadoop/data
 

slave1.hadoop.com 的core-site.xml 文件配置


      fs.defaultFS
      hdfs://slave1.hadoop.com:8020
    
    
        hadoop.tmp.dir
        /home/hadoop/yangyang/hadoop/data


slave2.hadoop.com 的core-site.xml 文件配置:


        hadoop.tmp.dir
        /home/hadoop/yangyang/hadoop/data

    

编辑hdfs-site.xml 文件:



       dfs.replication
       3
    
    
        dfs.nameservices
        ns1,ns2
    
    
        dfs.namenode.rpc-address.ns1
        master.hadoop.com:8020
    
    
        dfs.namenode.http-address.ns1
        master.hadoop.com:50070
    
    
        dfs.namenode.rpc-address.ns2
        slave1.hadoop.com:8020
    
    
        dfs.namenode.http-address.ns2
        slave1.hadoop.com:50070
     

三:启动服务节点:

格式化HDFS 节点处理
 master.hadoop.com
cd /home/hadoop/yangyang/hadoop/
bin/hdfs namenode –format –clusterID hdfs-cluster

Hadoop HDFS Federation 配置_第1张图片

slave1.hadoop.com
cd /home/hadoop/yangyang/hadoop/
bin/hdfs namenode –format –clusterID hdfs-cluster

Hadoop HDFS Federation 配置_第2张图片

启动namenode.hadoop.com与slave1.hadoop.com
节点上的namenode 
master.hadoop.com
./hadoop-daemon.sh start namenode

3.png-14.4kB

slave1.hadoop.com
./hadoop-daemon.sh start namenode

4.png-16.5kB

启动所有节点的datanonde
./hadoop-daemon.sh start datanode 
master.hadoop.com

Hadoop HDFS Federation 配置_第3张图片

slave1.hadoop.com

Hadoop HDFS Federation 配置_第4张图片

slave2.hadoop.com

7.png-19kB
打开浏览器:
master.hadoop.com
Hadoop HDFS Federation 配置_第5张图片
Hadoop HDFS Federation 配置_第6张图片
slave1.hadoop.com
Hadoop HDFS Federation 配置_第7张图片
Hadoop HDFS Federation 配置_第8张图片
###四: HDFS Fedeation 的测试
在maser.hadoop.com 节点上去HDFS创建一个文件
Hadoop HDFS Federation 配置_第9张图片
在slave1.hadoop.com 去hdfs 上创建文件
Hadoop HDFS Federation 配置_第10张图片
打开浏览器查看:
master.hadoop.com
Hadoop HDFS Federation 配置_第11张图片
slave1.hadoop.com
Hadoop HDFS Federation 配置_第12张图片