hadoop 2.2.0集群配置


hadoop-2.2.0环境搭建
      在这里我们选用 4 台机器进行示范,各台机器的职责如下表格所示

 

hadoop0

hadoop1

hadoop2

hadoop3

NameNode?

是,属集群cluster1

是,属集群cluster1

是,属集群cluster2

是,属集群cluster2

DataNode吗?

JournalNode吗?

ZooKeeper吗?

ZKFC?

 

 

 

1. 搭建自动HA

1.1. 复制编译后的hadoop项目到/usr/local目录下

编译方法:见www.superwu.cn

hadoop-2.2.0-src/hadoop-dist/target/ 下的hadoop-2.2.0

Cp -r hadoop-2.2.0 /usr/local

然后重命名 mv hadoop-2.2.0 hadoop

1.2. 修改位于etc/hadoop目录下的配置文件

2的配置文件都在 hadoop/etc/hadoop下了。

要在3个节点上启动zookeeper  zookeeper/bin/下 执行 zkServer.sh start

检查zookeeper是 zkServer.sh status

1.2.1. hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

1.2.2. core-site.xml



  fs.defaultFS
  hdfs://cluster1

【这里的值指的是默认的HDFS路径。当有多个HDFS集群同时工作时,用户如果不写集群名称,那么默认使用哪个哪?在这里指定!该值来自于hdfs-site.xml中的配置在节点hadoop0hadoop1中使用cluster1,在节点hadoop2hadoop3中使用cluster2

  hadoop.tmp.dir
  /usr/local/hadoop/tmp

【这里的路径默认是NameNodeDataNodeJournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。】

  ha.zookeeper.quorum
  hadoop0:2181,hadoop1:2181,hadoop2:2181

【这里是ZooKeeper集群的地址和端口。注意,数量一定是奇数,且不少于三个节点】

1.2.3. hdfs-site.xml   

该文件只配置在hadoop0hadoop1上。


    
        dfs.replication
        2
    

【指定DataNode存储block的副本数量。默认值是3个,我们现在有4DataNode,该值不大于4即可。】
    
        dfs.nameservices
        cluster1,cluster2
    

【使用federation时,使用了2HDFS集群。这里抽象出两个NameService实际上就是给这2HDFS集群起了个别名。名字可以随便起,相互不重复即可】
    
        dfs.ha.namenodes.cluster1
        hadoop0,hadoop1
    

【指定NameServicecluster1时的namenode有哪些,这里的值也是逻辑名称,名字随便起,相互不重复即可】
    
        dfs.namenode.rpc-address.cluster1.hadoop0
        hadoop0:9000
    

【指定hadoop0RPC地址】
    
        dfs.namenode.http-address.cluster1.hadoop0
        hadoop0:50070
    

【指定hadoop0http地址】
    
        dfs.namenode.rpc-address.cluster1.hadoop1
        hadoop1:9000
    

【指定hadoop1RPC地址】


        dfs.namenode.http-address.cluster1.hadoop1
        hadoop1:50070
    

【指定hadoop1http地址】
    
        dfs.namenode.shared.edits.dir
  qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster1
    
【指定cluster1的两个NameNode共享edits文件目录时,使用的JournalNode集群信息】


        dfs.ha.automatic-failover.enabled.cluster1
        true
    
【指定cluster1是否启动自动故障恢复,即当NameNode出故障时,是否自动切换到另一台NameNode


        dfs.client.failover.proxy.provider.cluster1
     org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    

【指定cluster1出故障时,哪个实现类负责执行故障切换】

 

 

 


    
        dfs.ha.namenodes.cluster2
        hadoop2,hadoop3
    

【指定NameServicecluster2时,两个NameNode是谁,这里是逻辑名称,不重复即可。以下配置与cluster1几乎全部相似,不再添加注释】
    
        dfs.namenode.rpc-address.cluster2.hadoop2
        hadoop2:9000
    
    
        dfs.namenode.http-address.cluster2.hadoop2
        hadoop2:50070
    
    
        dfs.namenode.rpc-address.cluster2.hadoop3
        hadoop3:9000
    

    
        dfs.namenode.http-address.cluster2.hadoop3
        hadoop3:50070
    
    

        dfs.ha.automatic-failover.enabled.cluster2
        true
    

        dfs.client.failover.proxy.provider.cluster2
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

 

 



        dfs.journalnode.edits.dir
        /usr/local/hadoop/tmp/journal

【指定JournalNode集群在对NameNode的目录进行共享时,自己存储数据的磁盘路径】

        dfs.ha.fencing.methods
        sshfence
    

【一旦需要NameNode切换,使用ssh方式进行操作】
    
        dfs.ha.fencing.ssh.private-key-files
        /root/.ssh/id_rsa
    

【如果使用ssh进行故障切换,使用ssh通信时用的密钥存储的位置】

 

1.2.4. slaves

hadoop1

hadoop2

hadoop2

1.3. 把以上配置的内容复制到hadoop1hadoop2hadoop3节点上

Scp -rq hadoop hadoop1:/usr/local   还有hadoop2hadoop3

1.4. 修改hadoop1hadoop2hadoop3上的配置文件内容

1.4.1. 修改hadoop2hadoop3上的core-site.xml内容

fs.defaultFS的值改为hdfs://cluster2

1.4.2. 修改hadoop2hadoop3上的hdfs-site.xml内容

cluster1中关于journalnode的配置项删除,增加如下内容

    dfs.namenode.shared.edits.dir

qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2

1.4.3. 开始启动

1.4.3.1. 启动journalnode

hadoop0hadoop1hadoop2上执行sbin/hadoop-daemon.sh start journalnode

1.4.3.2. 格式化ZooKeeper

hadoop0hadoop2上执行bin/hdfs  zkfc  -formatZK

1.4.3.3. hadoop0节点进行格式化和启动

bin/hdfs  namenode  -format

sbin/hadoop-daemon.sh  start  namenode

1.4.3.4. hadoop1节点进行格式化和启动  

bin/hdfs  namenode  -bootstrapStandby

sbin/hadoop-daemon.sh  start  namenode

1.4.3.5. hadoop0hadoop1上启动zkfc

sbin/hadoop-daemon.sh   start   zkfc

我们的hadoop0hadoop1有一个节点就会变为active状态。

1.4.3.6. 对于cluster2执行类似操作

格式化namenodehadoop2上 hadoop下执行  /bin/hdfs namenode -format

就是执行1.4.3.31.4.3.5步内容,hadoop0的执行内容变成hadoop2的, hadoop1 的执行内容变成hadoop3

(注:如果hadoop3NameNode没有起来,就在hadoop目录下rm  -rf  logs/

rm -rf tmp/,然后在格式化一下 bin/hdfs  namenode  -bootstrapStandby 然后  在启动 sbin/hadoop-daemon.sh start namenode

1.4.4. 启动datanode

hadoop0上执行命令sbin/hadoop-daemons.sh   start   datanode

 

hadoop0上 hadoop fs -put xxx / 是把文件上传到cluster1上了

要在hadoop0上上传数据到cluster2的话 就要 hadoop fs -put xxx hdfs://cluster2/xx

不写hdfs://cluster2就是默认上传到当前集群,或者写hdfs://hadoop2也能上传到cluster2

 

hadoop2上上传文件是上传到cluster2了,因为hadoop2是属于cluster2

 

HA高可靠集群,就是如果hadoop0死了,比如kill -9 namenode杀掉hadoop0namenode进程,那hadoop1就会从standby变成active,依然可以往hdfs里面读写数据。但是再次启动hadoop0 sbin/hadoop-daemon.sh start namenode 的时候,hadoop0就变成standby了。

1.5. 配置Yarn

1.5.1. 修改文件mapred-site.xml

hadoop0etc/hadoop下,如果mapred-site.xmlmapred-site.xml.template就要修改它的名字


  mapreduce.framework.name
  yarn
 

1.5.2.  修改文件yarn-site.xml


    yarn.resourcemanager.hostname
    hadoop0
    

【自定ResourceManager的地址,还是单点,这是隐患】


    yarn.nodemanager.aux-services
    mapreduce_shuffle
 

然后在hadoop0 上把这两个配置文件复制给其他节点

Scp etc/hadoop/mapred-site.xml etc/hadoop/yarn-site.xml hadoop1:/usr/local/hadoop/etc/hadoop/

1.5.3. 启动yarn

hadoop0上执行sbin/start-yarn.sh

启动了有一个ResourceManager进程

它的端口是 hadoop0:8088      

 

跑个例子,hadoop2自身带的,在hadoop下执行

Bin/hadoop  jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar  wordcount /hadoop  /out

输入的数据就是/hadoop,输出到out   

你可能感兴趣的:(新手指导)