Hadoop2.6 集群部署automaticHA+Federation+Yaran

一. 目标

搭建Hadoop2.6.4 集群 automaticHA+Federation+Yaran

二. 环境

jdk1.7
hadoop2.2
centos6.5 64位
zookeeper 3.4.5

三. 集群规划

集群主机名 IP 安装的软件运行的进程
1 hadoop1 192.168.172.101 jdk、hadoop NameNode、DFSZKFailoverController ResourceManager DFSZKFailoverController
1 spark2 192.168.172.102 jdk、hadoop NameNode、DFSZKFailoverController、JournalNode、DataNode NodeManager DFSZKFailoverController
2 spark3 192.168.172.103 jdk、hadoop、zookeeper NameNode、DataNode、NodeManager、JournalNode、QuorumPeerMain DFSZKFailoverController
2 spark4 192.168.172.104 jdk、hadoop、zookeeper NameNode、DataNode、NodeManager、JournalNode、QuorumPeerMain DFSZKFailoverController
2 spark5 192.168.172.105 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

四. 部署步骤

关闭防火墙 service iptables stop 验证:service iptalbes status
关闭防火墙的自动执行 chkconfig iptalbes off 验证：chkconfig --list|grep iptables
设置主机名 etc/sysconfig/network^[1]

设置SSH免密码登陆 ssh-keygen -t rsa 在/root/.ssh 下生成功公钥与私钥; ssh-copy-id -i 主机地址生成authoriaed_keys
绑定 ip与hostname /etc/hosts 增加IP与主机名
安装JDK Hadoop /etc/profile 添加JDK_HOME HADOOP_HOME 路径
hadoop配置，修改位于etc/hadoop 目录下的配置文件

hadoop-env.sh 增加export JAVA_HOME=/usr/local/jdk
core-site.xml


 fs.defaultFS
 hdfs://cluster1

【这里的值指的是默认的HDFS路径。当有多个HDFS集群同时工作时，用户如果不写集群名称，那么默认使用哪个哪？在这里指定！该值来自于hdfs-site.xml中的配置。在节点spark2和hadoop1中使用cluster1，在节点spark3、spark4、spark5中使用cluster2】

 hadoop.tmp.dir
 /usr/local/hadoop/tmp

【这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。】

 ha.zookeeper.quorum
 spark3:2181,spark4:2181,spark5:2181

【这里是ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点】

hdfs-site.xml

该文件只配置在hadoop0和hadoop1上。

  
      dfs.replication
      2
  
【指定DataNode存储block的副本数量。默认值是3个，我们现在有4个DataNode，该值不大于4即可。】
  
      dfs.nameservices
      cluster1,cluster2
  
【使用federation时，使用了2个HDFS集群。这里抽象出两个NameService实际上就是给这2个HDFS集群起了个别名。名字可以随便起，相互不重复即可】
  
      dfs.ha.namenodes.cluster1
      hadoop1,spark2
  
【指定NameService是cluster1时的namenode有哪些，这里的值也是逻辑名称，名字随便起，相互不重复即可】
  
      dfs.namenode.rpc-address.cluster1.hadoop1
      hadoop0:9000
  
【指定hadoop1的RPC地址】
  
      dfs.namenode.http-address.cluster1.hadoop1
      hadoop1:50070
  
【指定hadoop1的http地址】
  
      dfs.namenode.rpc-address.cluster1.spark2
      spark2:9000
  
【指定spark2的RPC地址】

      dfs.namenode.http-address.cluster1.spark2
      spark2:50070
  
【指定spark2的http地址】
  
      dfs.namenode.shared.edits.dir
  qjournal://spark3:8485;spark4:8485;spark5:8485/cluster1
  
【指定cluster1的两个NameNode共享edits文件目录时，使用的JournalNode集群信息】

      dfs.ha.automatic-failover.enabled.cluster1
      true
  
【指定cluster1是否启动自动故障恢复，即当NameNode出故障时，是否自动切换到另一台NameNode】
        dfs.client.failover.proxy.provider.cluster1   org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
  
【指定cluster1出故障时，哪个实现类负责执行故障切换】
  
      dfs.ha.namenodes.cluster2
      spark3,spark4
  
【指定NameService是cluster2时，两个NameNode是谁，这里是逻辑名称，不重复即可。以下配置与cluster1几乎全部相似，不再添加注释】
 
      dfs.namenode.rpc-address.cluster2.spark3
      spark3:9000
  
  
      dfs.namenode.http-address.cluster2.spark3
      spark3:50070
  
  
      dfs.namenode.rpc-address.cluster2.spark4
      spark4:9000
  
  
      dfs.namenode.http-address.cluster2.spark4
      spark4:50070
  
  

      dfs.ha.automatic-failover.enabled.cluster2
      true
  

      dfs.client.failover.proxy.provider.cluster2
      org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider


      dfs.journalnode.edits.dir
      /usr/local/hadoop/tmp/journal

【指定JournalNode集群在对NameNode的目录进行共享时，自己存储数据的磁盘路径】

      dfs.ha.fencing.methods
      sshfence
  
【一旦需要NameNode切换，使用ssh方式进行操作】
  
      dfs.ha.fencing.ssh.private-key-files
      /root/.ssh/id_rsa
  
【如果使用ssh进行故障切换，使用ssh通信时用的密钥存储的位置】

slaves

spark2
spark3
spark4
spark5

把以上配置的内容复制到spark2、spark3、spark4、spark5节点上
修改spark2、spark3、spark4、spark5上的配置文件内容
- 修改spark3上的core-site.xml内容
  fs.defaultFS的值改为hdfs://cluster2
- 修改spark3上的hdfs-site.xml内容
  把cluster1中关于journalnode的配置项删除，增加如下内容


    dfs.namenode.shared.edits.dir
 qjournal://spark3:8485;spark4:8485;spark5:8485/cluster1

开始启动

启动journalnode
在spark3、spark4、spark5上执行sbin/hadoop-daemon.sh start journalnode
格式化ZooKeeper
在hadoop1、spark3上执行bin/hdfs zkfc -formatZK
对hadoop1节点进行格式化和启动
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
对spark2节点进行格式化和启动
bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode
```
在hadoop1、spark2上启动zkfc
```

sbin/hadoop-daemon.sh start zkfc
我们的hadoop1、hadoop1有一个节点就会变为active状态。

对于cluster2执行类似操作

启动datanode
在hadoop0上执行命令sbin/hadoop-daemons.sh start datanode

配置Yarn

修改文件mapred-site.xml

mapreduce.framework.name
yarn
修改文件yarn-site.xml

yarn.resourcemanager.hostname
hadoop1

【自定ResourceManager的地址，还是单点，这是隐患】

yarn.nodemanager.aux-services
mapreduce_shuffle
启动yarn
在hadoop1上执行sbin/start-yarn.sh

五. 问题

如果不定时出现 linux 64位中
异常解决：运行zookeeper zkServer.sh status时出现 Error contacting service. It is probably not running.
则在 /etc/hosts 加入
#127.0.0.1 localhost.localdomain localhost
#::1 localhost6.localdomain6 localhost6
127.0.0.1 localhost localhost.localdomain
Journal Storage Directory not f ormatted
HA 三个NODE都没有该目录则重新格式化namenode
IPC's epoch 1 is less than the last promised epoch 2
访问其它主机超时引起可配置core-site.xml 具体的日志信息可以参考对应的日志。
出现
java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.unset(Ljava/l
需其它的主机可以运行，最大的可能性在于配置的出错。那么重新拷贝一份hadoop

设置主机名后需要重启才会生效 reboot -h now ↩