2021-07-12

HADOOP+SPARK-HA 安装

[一、版本 2](#_Toc72997488)

[二、系统架构 2](#_Toc72997489)

[2.1  服务器架构 2](#_Toc72997490)

[2.2相关的缩写描述： 3](#_Toc72997491)

[2.3 架构说明 3](#_Toc72997492)

[2.4 NN active 3](#_Toc72997493)

[2.5 NN standby 3](#_Toc72997494)

[2.6 JN 3](#_Toc72997495)

[2.7 zk/zkfs 3](#_Toc72997496)

[三、基础环境 4](#_Toc72997497)

[3.1、安装 java 和  psmic 4](#_Toc72997498)

[3.2、服务器分配 4](#_Toc72997499)

[3.3、增加hadoop用户和免密登陆 4](#_Toc72997500)

[3.4、 上传安装包和环境变量 4](#_Toc72997501)

[四、ZOOKEEPER安装配置 5](#_Toc72997502)

[4.1、 配置conf/zoo.conf文件 5](#_Toc72997503)

[4.2、myid配置 5](#_Toc72997504)

[4.3、配置zookeeper 启动/查看/停止脚本 6](#_Toc72997505)

[4.4、zookeeper启动和状态验证 6](#_Toc72997506)

[五、HADOOP 安装配置 6](#_Toc72997507)

[5.1示例配置如下： 6](#_Toc72997508)

[5.2  HADOOP  初始化、启动 8](#_Toc72997509)

[六、HADOOP 主备切换测试 9](#_Toc72997510)

[6.1主备状态查看 9](#_Toc72997511)

[6.2主备状态切换测试 9](#_Toc72997512)

[七、SPARK 安装配置 11](#_Toc72997513)

[7.1、spark-env.sh 11](#_Toc72997514)

[7.2、workers 文件 11](#_Toc72997515)

[7.3、log4j.properties 11](#_Toc72997516)

[7.4、启动spark 11](#_Toc72997517)

[八、SPARK 主备测试 12](#_Toc72997518)

[8.1、spark 主备状态查看 12](#_Toc72997519)

[8.2、spark 主备切换测试 12](#_Toc72997520)

[九、相关启动停止测试 13](#_Toc72997521)

[9.1 相关手工启动 13](#_Toc72997522)

[9.2部分hdfs命令 13](#_Toc72997523)

[9.3部分性能测试命令 14](#_Toc72997524)

##### 一、版本

操作系统--CENTOS 8

hadoop-3.2.2

https://downloads.apache.org/hadoop/core/

spark3.1.1

https://downloads.apache.org/spark/

zookeeper-3.6.3

https://downloads.apache.org/zookeeper/

java-1.8.0-openjdk

##### 二、系统架构

###### 2.1 系统服务架构

![在这里插入图片描述](media/110e0125

806d6b8222edc55ce2d20bfa.png)

###### 2.2相关的缩写描述：

HA: High Availabilty 高可用的意思

zk: ZooKeeper 分布式应用程序服务的组件

NN: NameNode 管理文件系统的元数据信息

DN: DataNode 存储数据的

JN: JournalNode 主要用于NN的数据共享

zkfc: ZooKeeperFailoverControl 监控和管理NN的状态

###### 2.3 架构说明

HA使用active NN和standby NN两个节点解决单点问题，

两个NN节点通过JN集群共享状态，通过ZKFC选举active，

监控NN的状态，实现自动备源，DN会同时向两个NN节点发送心跳

###### 2.4 NN active

1.接受Client的rpc请求并处理，自己写一份editlog，同时向JN集群发送一份editlog

2.同时接受DN的块报告block report, 块位置更新block location

updates和心跳heartbeat

###### 2.5 NN standby

NN standby是NN active的一个热备，一旦切换active状态，可以及时对外提供服务

1.同样的会接受JN上面的editlog，并执行更新，与NN active的元数据保持同样的状态

2.同时接受DN的块报告block report, 块位置更新block location

updates和心跳heartbeat

###### 2.6 JN

用于同步active nn和standby

nn之间的数据，本身由一组jn节点组成的集群，一般是奇数，保证高可用,必须有半数以上存活。也就是说如果有3个journalnode，则可以请允许1个down掉，如果有5个的话，可以允许2个down掉。

###### 2.7 zk/zkfs

zk集群一般是奇数，必须有半数以上存活。也就是说如果有3个zk，则可以请允许1个down掉，如果有5个的话，可以允许2个down掉。

zkfc主要用来监控nn节点的健康状态

zkfc会向zk集群发送心跳，让自己被选举，如果自己被选举主时，会通过rpc调用nn，让nn变成active状态

##### 三、基础环境

###### 3.1、安装 java 和 psmic

yum install java-1.8.0-openjdk-devel.x86\_64 psmisc -y

说明：Psmisc软件包包含 fuser, namenode failover 用到

###### 3.2、服务器分配

5台服务器举例

| IP            | HOSNAME  | 节点用途      |          |          |            |

|---------------|----------|----------------|----------|----------|-------------|

| 192.168.2.185 |  master1 | zookeeper/zkfs | namenode |          |            |

| 192.168.2.183 |  master2 | zookeeper/zkfs | namenode |          |            |

| 192.168.2.186 | slave1  | zookeeper      |          | datanode | JournalNode |

| 192.168.2.187 | slave2  |                |          | datanode | JournalNode |

| 192.168.2.184 | slave3  |                |          | datanode | JournalNode |

每台/etc/hosts 添加如下

192.168.2.185 master1

192.168.2.183 master2

192.168.2.186 slave1

192.168.2.187 slave2

192.168.2.184 slave3

###### 3.3、增加hadoop用户和免密登陆

3.3.1、**每台**都需要添加hadoop 用户useradd -m hadoop -s /bin/bash

echo 'greatbit@2021' \| passwd hadoop --stdin

usermod -G wheel hadoop

sed -i 's/\#auth\\s\*required\\s\*pam_wheel.so use_uid/auth required

pam_wheel.so group=wheel/'

/etc/pam.d/su

3.3.2、每台设置免密登陆

su hadoop 用户后

\#ssh-keygen -t rsa ssh 版本不同可能导致默认算法无法failover 切换，建议用PEM

\#“RFC4716” (RFC 4716/SSH2 public or private key)

\#“PKCS8” (PEM PKCS8 public key)

ssh-keygen -t rsa -m PEM

ssh-copy-id 本机和其它4台 都要

###### 3.4、 上传安装包和环境变量

3.4.1、安装包

mkdir –p /phd/bin 目录

上传安装包到master1上,解压到/phd/bin下，重命名为：Hadoop , spark ,zookeeper

chown –R hadoop: hadoop /phd 改变文件属主

3.4.2、环境变量

vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java

export SPARK_HOME=/phd/bin/spark

export HADOOP_HOME=/phd/bin/hadoop

export

PATH=\$PATH:\$JAVA_HOME/bin:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin:\$SCALA_HOME/bin

执行：source /etc/profile

##### 四、ZOOKEEPER安装配置

Hdaoop 用户下：

###### 4.1、 配置conf/zoo.conf文件

tickTime=2000

dataDir=/phd/tmp/zookeeper

dataLogDir=/phd/bin/zookeeper/logs

clientPort=2181

initLimit=10

syncLimit=5

server.1=master1:2888:3888

server.2=master2:2888:3888

server.3=slave1:2888:3888

说明：server.id=host:port1:port2

其中id为一个数字，表示zk进程的id，这个**id也是dataDir目录下myid文件的内容**。

host是该zk进程所在的IP地址，port1表示follower和leader交换消息所使用的端口，port2表示选举leader所使用的端口。

###### **4.2、myid配置**

myid文件里面就有一个数据就是 id 的值， Zookeeper

启动时会读取这个文件，拿到里面的数据与 zoo.cfg

里面的配置信息比较从而判断到底是那个 server。

在每台的/phd/tmp/zookeeper 下分别修改如下：

master1:myid 为 1

master2:myid 为 2

slave1 : myid 为 3

###### 4.3、配置zookeeper 启动/查看/停止脚本

/phd/bin 下新建 zkServer.sh 755权限

\#!/bin/bash

for host in master1 master2 slave1

do

echo "\$host zkServer.sh \$1"

ssh \$host "source /etc/profile;/phd/bin/zookeeper/bin/zkServer.sh \$1"

done

启动/查看/停止 脚本

./zkServer.sh start\|status\|stop

###### 4.4、zookeeper启动和状态验证

4.4.1、zookeeper.sh start启动后

使用zookeeper.sh status查询三台如下，一个leader ,两个follower

Mode: follower

Mode: leader

Mode: follower

4.4.2、启动后使用jps命令查看3台zookeeper 状态

如看到QuorumPeerMain表明zookeeper正在运行。

##### 五、HADOOP 安装配置

Hdaoop 用户下：

在master1 上修改/phd/bin/hadoop/etc/hadoop 下配置文件

###### **5.1**示例配置如下：

1.  yarn-env.sh

1.  hadoop-env.sh

2.  core-site.xml

3.  mapred-site.xml

4.  yarn-site.xml

5.  hdfs-site.xml

其中workers中服务器上 的 datanode 存储位置每台根据硬盘多少可以不同

>  \