Hadoop的高可用集群搭建

一、搭建规划：
hadoop 高可用集群的搭建依赖于 zookeeper，所以选取三台当做 zookeeper 集群 ，这里总共准备了八台主机(可按实际规划，不一定要这么多台)，分别是 hadoop01，hadoop02，hadoop03，hadoop04， hadoop05，zk01，zk02，zk03。其中 hadoop01 和 hadoop02 做 namenode 的主备切换，hadoop03 和 hadoop04 做 resourcemanager 的主备切换。zk01，zk02，zk03是zookeeper。具体安排可参加下表：
二、搭建服务器前准备：
1.修改主机名称，将主机名改成表中hadoop01—hadoop05
2.增加主机名和ip的映射
3.添加普通用户 eastcom 用户并配置 visudo配置sudo 权限
4.安装jdk，并设置环境变量，这里装的是1.8版本
5.配置ssh免密登陆：
利用ssh-keygen生成密钥，再copy到其他机器上，这样就可以ssh免密登陆
ssh-copy-id -i /home/eastcom/.ssh/id_rsa.pub [email protected]
6.安装zookeeper集群，这个可以参考网络教程：
https://www.cnblogs.com/wrong5566/p/6056788.html
这里主要介绍hadoop集群部署。
三、安装hadoop集群：
1.官网下载安装包：
建议不要下载source源码包，不然要自己编译。可以直接下载binary的，下完解压即可。本文档安装的版本为2.8.5
地址:https://hadoop.apache.org/releases.html

下载完，上传到服务器指定的目录解压即可，注意这里你只要先上传到hadoop01服务器即可，无需先将压缩包传到其他四台上！
2.修改配置文件(重点)：
配置文件目录：/home/eastcom/hadoop-2.8.5/etc/hadoop
(1)修改hadoop-env.sh
这个主要修改JAVA_HOME，把设置的JAVA_HOME加进去即可如图25行左右的位置：

     （2）修改core-site.xml，详情如下模块极其注释：

fs.defaultFS hdfs://myha01/

    hadoop.tmp.dir
    /home/eastcom/data/hadoopdata/




    ha.zookeeper.quorum
    zk01:2181,zk02:2181,zk03:2181




    ha.zookeeper.session-timeout.ms
    1000
    ms

      (3) 修改hdfs-site.xml,详情如下模块极其注释：

    dfs.replication
    2




    dfs.namenode.name.dir
    /home/eastcom/data/hadoopdata/dfs/name


    dfs.datanode.data.dir
    /home/eastcom/data/hadoopdata/dfs/data




    dfs.webhdfs.enabled
    true




    dfs.nameservices
    myha01




    dfs.ha.namenodes.myha01
    nn1,nn2




    dfs.namenode.rpc-address.myha01.nn1
    hadoop01:9000




    dfs.namenode.http-address.myha01.nn1
    hadoop01:50070




    dfs.namenode.rpc-address.myha01.nn2
    hadoop02:9000




    dfs.namenode.http-address.myha01.nn2
    hadoop02:50070




    dfs.namenode.shared.edits.dir
    qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/myha01




    dfs.journalnode.edits.dir
    /home/eastcom/data/journaldata




    dfs.ha.automatic-failover.enabled
    true




    dfs.client.failover.proxy.provider.myha01
    org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider




    dfs.ha.fencing.methods
    
        sshfence
        shell(/bin/true)
    




    dfs.ha.fencing.ssh.private-key-files
    /home/eastcom/.ssh/id_rsa




    dfs.ha.fencing.ssh.connect-timeout
    30000



    ha.failover-controller.cli-check.rpc-timeout.ms
    60000

        (4) 修改mapred-site.xml,先

cp mapred-site.xml.template mapred-site.xml
再修改mapred-site.xml内容，详情如下模块及其注释：



mapreduce.framework.name
yarn

    mapreduce.jobhistory.address
    hadoop01:10020




    mapreduce.jobhistory.webapp.address
    hadoop01:19888

yarn.resourcemanager.ha.enabled true

    yarn.resourcemanager.cluster-id
    yrc




    yarn.resourcemanager.ha.rm-ids
    rm1,rm2

      （5）修改yarn-site.xml 详情如下模块及其注释：

yarn.resourcemanager.ha.enabled true

    yarn.resourcemanager.cluster-id
    yrc




    yarn.resourcemanager.ha.rm-ids
    rm1,rm2




    yarn.resourcemanager.hostname.rm1
    hadoop04



    yarn.resourcemanager.hostname.rm2
    hadoop05




    yarn.resourcemanager.zk-address
    zk01:2181,zk02:2181,zk03:2181



    yarn.nodemanager.aux-services
    mapreduce_shuffle



    yarn.log-aggregation-enable
    true



    yarn.log-aggregation.retain-seconds
    86400




    yarn.resourcemanager.recovery.enabled
    true




    yarn.resourcemanager.store.class
    org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore

       (6) 修改slaves(即加入datanode服务器)

hadoop03
hadoop04
hadoop05

3. 将hadoop安装包分发到其他集群节点
   重点： 所有hadoop安装包的目录必须一致， 安装包的配置信息还必须保持一致！！！
   scp -r ./hadoop-2.8.5 hadoop2:$PWDscp-r./hadoop-2.8.5hadoop02:$PWD
   scp -r ./hadoop-2.8.5 hadoop03:$PWDscp-r./hadoop-2.8.5hadoop04:$PWD
   scp -r ./hadoop-2.8.5 hadoop05:$PWD

4. 配置hadoop环境变量：
   如下增加部分：
   [eastcom@hadoop01 ~]$ cat .bashrc

.bashrc

Source global definitions

if [ -f /etc/bashrc ]; then
. /etc/bashrc
fi

Uncomment the following line if you don’t like systemctl’s auto-paging feature:

export SYSTEMD_PAGER=

User specific aliases and functions

export JAVA_HOME=/home/eastcom/jdk1.8.0_66
export PATH=:$JAV{A}_{H}OME/bin:$PATH
export CLASS_PATH=.:$JAVA_HOME/lib

export HADOOP_HOME=/home/eastcom/hadoop-2.8.5/
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

记得使环境变量生效source .bashrc
生效后就可以利用hadoop version查看hadoop的版本了，如下
四、Hadoop高可用集群初始化
按照以下步骤逐步进行操作：
1. 先启动已经安装的zookeeper：zkServer.sh start，
可以在hadoop上执行telnet zk01 2181测试一下保证你部署的三台zookeeper是”通的”：

2.在各个journalnode节点上启动该进程：
hadoop-daemon.sh start journalnode
3.格式化namenode
先选其中的hadoop01节点进行格式化
hadoop namenode –format
执行后会看到这一句关键字说明成功了.这个就是hadoop1生成的元数据
Storage directory /home/eastcom/data/hadoopdata/dfs/name has been successfully formatted.
4.把hadoop01节点上生成的元数据给复制到另一个namenode（hadoop02）上
cd data/
scp -r hadoopdata/ hadoop02:$PWD
就是这四个文件可以检查一下：
-rw-rw-r-- 1 eastcom eastcom 323 Jan 3 09:42 fsimage_0000000000000000000
-rw-rw-r-- 1 eastcom eastcom 62 Jan 3 09:42 fsimage_0000000000000000000.md5
-rw-rw-r-- 1 eastcom eastcom 2 Jan 3 09:42 seen_txid
-rw-rw-r-- 1 eastcom eastcom 218 Jan 3 09:42 VERSION
5．格式化zkfc(只能在namenode节点进行)
hdfs zkfc –formatZK
执行后可以看到关键句说明格式化成功：
Successfully created /hadoop-ha/myha01 in ZK
五、启动集群
1.启动HDFS
start-dfs.sh
启动完可以用jps查看进程在不在也可以用以下命令验证节点的状态：
2.启动YARN
在主备 resourcemanager 中随便选择一台进行启动，若备用节点的 resourcemanager 没有启动起来，则手动启动起来
yarn-daemon.sh start resourcemanager然后查看一下YARN的状态：
3. 启动mapreduce任务历史服务器：
mr-jobhistory-daemon.sh start historyserver
4．用web页面进行查看：
验证HDFS：
hadloop01

Hadloop2
Datanode信息：
YARN验证
standby节点会自动跳到avtive节点
在浏览器172.16.100.125:8088自动跳到http://hadoop04:8088/因为我本机没有配hosts跳的页面打不开正常。所以可以输入ip172.16.100.124:8088来看。
这个过程能跳说明就ok的！

关于hadoop集群搭建过程差不多就这样。由于水平有限，请多指正！