Hadoop3 HA高可用集群搭建

1. linux ssh免密登陆配置

hadoop节点之间的通讯是通过ssh进行的，SSH默认都是需要密码的，开启免密钥登录会减少很多麻烦。操作很简单，两步（三步）就可以完成。

• 首先在本地生成公钥和私钥。分别在所有节点上执行：

ssh-keygen -t rsa

#后面都按回车跳过即可（三次）
# 运行结束后在 ~/.ssh/下生成两个新文件: id_rsa.pub和id_rsa

设置本机ssh免密
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

• 将公钥拷贝到本机和远程主机.

ssh-copy-id username@host 
or
ssh-copy-id node01
ssh-copy-id node02
……
# username是用户名  host是主机的地址
#远程主机将用户的公钥保存在 ~/.ssh/authorized_keys文件中

• 如果发现. Agent admitted failure to sign using the key 这个错误，还要输入密码，是ssh本身的问题.

  可以使用命令：

ssh-add   ~/.ssh/id_rsa  把私钥加进来即可

测试能否免密登陆：

[root@node01 /]# ssh node02
[root@node02 ~]# 

免密登陆设置成功。

2. java环境配置

vi /etc/profile

在profile文件末尾加入： 
export JAVA_HOME=/usr/share/jdk1.6.0_14 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

3. Hadoop完全分布式(full)

• 理论

并行：提升速度的关键
分布式运行
计算与数据在一起——计算向数据移动

Hadoop简介：

• 分布式存储系统HDFS （Hadoop Distributed File System ）
  分布式存储系统
  提供了 高可靠性、高扩展性和高吞吐率的数据存储服务
• 分布式计算框架MapReduce
  分布式计算框架（计算向数据移动）
  具有 易于编程、高容错性和高扩展性等优点。
• 分布式资源管理框架YARN（Yet Another Resource Management）
  负责集群资源的管理和调度

本文搭建了4虚拟机部署hadoop，可根据实际机器性能指定，搭建3台也可以，只需修改下配置即可。

• 修改4台虚拟机的hosts文件

vi /etc/hosts
加入如下：
192.168.33.101 node01
192.168.33.102 node02
192.168.33.103 node03
192.168.33.104 node04

节点	配置
node01	namenode
node02	secondarynamenode、datanode
node03	datanode
node04	datanode

• 进入node01主机，安装配置hadoop：

将hadoop解压到/opt/目录下
tar -zxvf hadoop-3.1.1.tar.gz -C /opt/

然后进入/opt/目录，删掉doc文件夹
cd /opt/hadoop-3.1.1/
rm -rf share/doc

修改hadoop配置

cd $HADOOP_HOME/etc/hadoop
vi + hadoop-env.sh
在末尾加入：
export JAVA_HOME=/usr/share/jdk8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

vi + core-site.xml


    
        fs.defaultFS
        hdfs://node01:9820
    
    
        hadoop.tmp.dir
        /var/aaron/hadoop/full
    

vi + hdfs-site.xml


    
        dfs.replication
        2
    
    
        dfs.namenode.secondary.http-address
        node02:9868
    

vi workers
删掉localhost，加入：
node02
node03
node04

• 再把修改配置后的hadoop分发到其他节点的相同目录下

scp /opt/hadoop-3.1.1 node02:`pwd`
scp /opt/hadoop-3.1.1 node03:`pwd`
scp /opt/hadoop-3.1.1 node04:`pwd`

• 启动

先在主节点namenode里进行格式化
~/sbin/hdfs namenode -format

格式化完成后再启动hadoop hdfs
~/sbin/start-dfs.sh

查看启动是否成功，分别在各个节点执行：
jps

4. Hadoop HDFS高可用集群搭建（HA）

hostname	NN-1	NN-2	DN	ZK	ZKFC	JNN
node01	*				*	*
node02		*	*	*	*	*
node03			*	*		*
node04			*	*

4.1 安装配置zookeeper

进入主机node02，将zookeeper解压到/opt/目录下

tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/

修改zookeeper配置文件
cd conf/
cp zoo_sample.cfg zoo.cfg
vi + zoo.cfg
修改：
dataDir=/var/aaron/zookeeper
并在末尾加入：
server.1=node02:2888:3888
server.2=node03:2888:3888
server.3=node04:2888:3888

创建dataDir文件夹，并新建myid文件，在node02输入1
mkdir /var/aaron/zookeeper
cd /var/aaron/zookeeper
echo 1 > myid

将zookeeper分发到node03、node04，分别修改其myid文件值为2、3。
至此初步配置完成，启动3台zookeeper服务：

~/bin/zkServer.sh start
~/bin/zkServer.sh status
连接：
~/bin/zkCli.sh

4.2 安装配置hadoop HA

• 修改 hadoop-env.sh，加入：

export JAVA_HOME=/usr/share/jdk8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root

• 修改 core-site.xml

    
    
        fs.defaultFS
        hdfs://mycluster
    
    
    
        hadoop.tmp.dir
        /var/aaron/hadoop/full
    
    
    
        ha.zookeeper.quorum
        node02:2181,node03:2181,node04:2181
    

• 修改 hdfs-site.xml

    
        dfs.replication
        2
    
    
    
        dfs.nameservices
        mycluster
    


    dfs.ha.namenodes.mycluster
    nn1,nn2




  dfs.namenode.rpc-address.mycluster.nn1
  node01:9820


  dfs.namenode.rpc-address.mycluster.nn2
  node02:9820



  dfs.namenode.http-address.mycluster.nn1
  node01:9870


  dfs.namenode.http-address.mycluster.nn2
  node02:9870



  dfs.namenode.shared.edits.dir
  qjournal://node01:8485;node02:8485;node03:8485/mycluster



    dfs.journalnode.edits.dir
    /var/aaron/hadoop/journaldata



    dfs.ha.automatic-failover.enabled
    true



  dfs.client.failover.proxy.provider.mycluster
  org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider




    dfs.ha.fencing.methods
    
        sshfence
    



    dfs.ha.fencing.ssh.private-key-files
    /root/.ssh/id_rsa



    dfs.ha.fencing.ssh.connect-timeout
    30000

• hadoop分发到其他节点

4.3 Hadoop HDFS HA集群的启动步骤

注意：严格按照下面的启动步骤

1. 按照前面的启动方式启动zookeeper集群（分别node02、node03、node04上启动zk）
2. 启动journalnode（分别在node01、node02、node03上执行）

sbin/hdfs --daemon start journalnode

[root@node01 /]# jps
2444 JournalNode
2493 Jps
出现JournalNode则表示journalnode启动成功。

3. 格式化 HDFS
   在node01上执行命令：

hdfs namenode -format

倒数4行左右的地方，出现这一句就表示成功
common.Storage: Storage directory /home/hadoop/apps/dfs/name has been successfully formatted.

4. 复制 hadoop.tmp.dir 配置下的文件到node02中

必须先启动node01节点上的namenode，在node01上执行：
hdfs --daemon start namenode
jps查看namenode是否已启动
[root@node01 hadoop]# jps
2710 Jps
2444 JournalNode
2668 NameNode

然后再node02上执行：
hdfs namenode -bootstrapStandby

5. 格式化ZKFC(在node01上执行一次即可)

hdfs zkfc -formatZK

在倒数第3行提示如下内容表示成功
ha.ActiveStandbyElector: Successfully created /hadoop-ha/bi in ZK.

此时在zookeeper集群中可以查看：

[root@node04 hadoop]# zkCli.sh

[zk: localhost:2181(CONNECTED) 4] get /hadoop-ha/mycluster

cZxid = 0x100000006
ctime = Thu Dec 20 22:29:00 CST 2018
mZxid = 0x100000006
mtime = Thu Dec 20 22:29:00 CST 2018
pZxid = 0x100000006
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 0

6. 启动HDFS(在node01上执行)

start-dfs.sh

7. 访问192.168.33.101：9870、192.168.33.102：9870

5. Hadoop MapReduce、YARN 高可用集群搭建

前面搭建好HDFS后，继续在此基础上完成MapReduce、YARN的配置。

hostname	NN-1	NN-2	DN	ZK	ZKFC	JNN	RS	NM
node01	*				*	*
node02		*	*	*	*	*		*
node03			*	*		*	*	*
node04			*	*			*	*

5.1 修改 mapred-site.xml

    
                  
        mapreduce.framework.name
        yarn
    

5.2 修改yarn-site.xml

    
    
        yarn.resourcemanager.ha.enabled
        true
    

    
    
        yarn.resourcemanager.cluster-id
        yrc
    

    
    
        yarn.resourcemanager.ha.rm-ids
        rm1,rm2
    

    
    
        yarn.resourcemanager.hostname.rm1
    node03
    

    
        yarn.resourcemanager.hostname.rm2
    node04
    
    
        yarn.resourcemanager.webapp.address.rm1
        node03:8088
    
    
        yarn.resourcemanager.webapp.address.rm2
        node04:8088
    
    
    
        yarn.resourcemanager.zk-address
        node02:2181,node03:2181,node04:2181
    

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

5.3 修改hadoop-env.sh

在末尾加入：

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

将以上修改文件分发到其他节点相同目录。

5.4 启动yarn

• 先启动zookepper：zkServer.sh start
• 再启动hdfs：start-dfs.sh
• 启动yarn：start-yarn.sh

http://192.168.33.104:8088

6 windows本地运行调试mapreduce

• 解压hadoop包到D:/hadoop3.1目录下；
• 环境变量配置

HADOOP_HOME=C:\hadoop3.1
HADOOP_USER_NAME=root
PATH里添加%HADOOP_HOME%\bin

• lib整合
  下载bin目录，将bin下的文件覆盖到hadoop部署目录下，再将hadoop.dll 放到 C:/windows/system32下。hadoop-3.1.1对应的bin目录下载。

  • 1、 缺少winutils.exe：
    Could not locate executable null \bin\winutils.exe in the hadoop binaries
  • 2、 缺少hadoop.dll：
    Unable to load native-hadoop library for your platform… using builtin-Java classes where applicable

• 创建Configuration时加入如下代码即可再eclipse或idea里运行了，而无需打成jar包上传到linux再通过命令执行。

Configuration conf = new Configuration();
conf.set("mapreduce.app-submission.coress-paltform", "true");
conf.set("mapreduce.framework.name", "local");