hadoop HA(高可用)集群全分布模式安装

hadoop HA(高可用)集群全分布模式安装

提示:该配置基于前面章节已经安装好的hadoop全分布式集群、zookeeper组件基础上才能执行本章操作


文章目录

  • hadoop HA(高可用)集群全分布模式安装
  • 前言
  • 一、删除hadoop分布式集群的文件(没有则不用)
      • 1、关闭hadoop集群、关闭hdfs和yarn
      • 2、关闭JobHistory
      • 3、检查hadoop集群的各节点关闭情况
      • 4、删除hadoop集群
  • 二、安装hadoop高可用集群
      • 1、上传hadoop安装包到master节点
      • 2、在master节点解压hadoop-2.7.1.tar.gz到安装目录
      • 3、在master节点更改hadoop-2.7.1安装文件夹的名字,方便后续操作
      • 4、在master节点配置hadoop环境变量
          • `(1)、打开/etc/profile文件`
          • `(2)、在打开的配置文件修改原来的环境变量如下`
          • `(3)、让修改后的/etc/profile文件生效(否则要重启才能生效)`
          • `(4)、检查环境变量是否配置成功`
          • `(5)、在master节点配置hadoop-env.sh(同全分布式集群配置)`
          • (6)、在master节点配置core-site.xml
          • (7)、12.4.7 在master节点配置hdfs-site.xml
          • (8)、在master节点配置mapred-site.xml(同全分布式集群配置)
          • (9)、在master节点配置yarn-site.xml
          • (10)、将master的hadoop安装文件同步到slave节点
          • (11)、在slave1和slave2主机重置/etc/profile文件
          • (12)、初始化并启动集群
          • (13)、格式化元数据
          • (14)、注册ZNode
            • 此时可以看到master节点有namenode节点进程,但是slave1并没有namenode进程
          • (15)、hadoop高可用集群的启动与关闭(已经初始化后)
          • (16)、查看namenode的active和standby状态
          • (17)、高可用集群测试
      • 使用Java API操作hadoop高可用集群的HDFS下次再讲


前言

linux 目录约定
/opt/software 存放软件安装包
/usr/local/src 存放安装好的软件

提示:安装环境列表

服务器主机/IP:Master(192.168.52.141) slave1(192.168.52.142) slave2(192.168.52.143)
JDK环境:jdk1.8.0_141 jdk1.8.0_141 jdk1.8.0_141
HDFS:NameNode NameNode(增加)SecondaryNameNode(取消)
JournalNode(增加)
DataNode(增加)
DFSZKFailoverController(增加) JournalNode(增加)
DFSZKFailoverController(增加)
DataNode JournalNode(增加)
DataNode

YARN:ResourceManager
NodeManager(增加) ResourceManager e(增加)
NodeManager NodeManager
MapReduce JobHistoryServer

zookeeper(3.4.8): QuorumPeerMain QuorumPeerMain QuorumPeerMain

Leader/follower(由集群自己投票产生leader角色) Leader/follower(由集群自己投票产生leader角色) Leader/follower(由集群自己投票产生leader角色)


提示:以下是本篇文章正文内容,下面案例可供参考

一、删除hadoop分布式集群的文件(没有则不用)

1、关闭hadoop集群、关闭hdfs和yarn

stop-all.sh

2、关闭JobHistory

mr-jobhistory-daemon.sh stop historyserver

3、检查hadoop集群的各节点关闭情况

正常情况下应该只有jps和zookeeper的QuorumPeerMain进程还在运行

4、删除hadoop集群

rm -rf /usr/local/src/hadoop

二、安装hadoop高可用集群

1、上传hadoop安装包到master节点

将hadoop-2.7.1.tar.gz从windows拷贝到master节点的/opt/software目录下(方法参考JDK拷贝)

2、在master节点解压hadoop-2.7.1.tar.gz到安装目录

tar -zxvf /opt/software/hadoop-2.7.1.tar.gz -C /usr/local/src/

3、在master节点更改hadoop-2.7.1安装文件夹的名字,方便后续操作

mv /usr/local/src/hadoop-2.7.1 /usr/local/src/hadoop

4、在master节点配置hadoop环境变量

(1)、打开/etc/profile文件
vi /etc/profile
(2)、在打开的配置文件修改原来的环境变量如下
#hadoop环境变量
export HADOOP_HOME=/usr/local/src/hadoop  #HADOOP_HOME 指向hadoop安装目录
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  #将hadoop的bin、sbin目录放入path,方便在全局执行hadoop的相关命令。

#hadoop高可用必须配置的环境变量,名称按照hadoop官方要求
export HADOOP_PREFIX=$HADOOP_HOME 
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

(3)、让修改后的/etc/profile文件生效(否则要重启才能生效)
source /etc/profile
(4)、检查环境变量是否配置成功

说明:输出hadoop的版本号,如果出现下图表示配置成功

hadoop version
(5)、在master节点配置hadoop-env.sh(同全分布式集群配置)

首先打开hadoop-env.sh配置文件

vi /usr/local/src/hadoop/etc/hadoop/hadoop-env.sh

在文件末尾或是指定地方加入配置信息,并保存

#配置hadoop运行所需要的JDK环境变量
export JAVA_HOME=/usr/local/src/java
(6)、在master节点配置core-site.xml

说明:core-site.xml文件表示Hadoop核心全局配置文件,可在其他配置文件中引用该文件
首先打开core-site.xml配置文件

vi /usr/local/src/hadoop/etc/hadoop/core-site.xml

标签中加入配置信息
(代码中用括起来的是说明,可不写)

<!-- 高可用配置必须修改,指定 hdfs 的 nameservice 为 mycluster,因为这里已经不止一个namenode,用原来的hdfs://master:9000来表示不合适,所以用一个统一的地址,有集群分配哪个节点显示 -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster
</property>
<!--
必备配置,同分布式集群,hadoop.tmp.dir:指定hadoop临时目录,前面用file:表示是本地目录。有的教程上直接使用/usr/local,如果是本机不加file:也可以。
特别说明,如没有配置 hadoop.tmp.dir 参数,此时系统默认的临时目录为:/tmp/hadoop-hadoop。该目录在每次 Linux 系统重启后会被删除,必须重新执行 Hadoop 文件系统格式化命令,否则 Hadoop 运行会出错。因此一般要自己建立一个临时目录
-->
<property>
  <name>hadoop.tmp.dir</name>
  <value>file:/usr/local/src/hadoop/tmp</value>
</property>
<!-- 高可用配置,指定用于HA的ZooKeeper集群机器列表。其中2181为zookeeper默认的客户端接听端口号 -->
<property>
  <name>ha.zookeeper.quorum</name>
  <value>master:2181,slave1:2181,slave2:2181</value>
</property>
<!-- 高可用配置,hadoop 链接 zookeeper 的超时时长设置,单位毫秒 -->
<property>
  <name>ha.zookeeper.session-timeout.ms</name>
  <value>30000</value>
  <description>ms</description>
</property>
<!--hadoop里的trash选项默认是关闭的,也就是默认删除的文件将直接删除。这里设置了之后,在设定的回收周期之内,文件实际上是被移动到trash的这个目录下面,而不是马上把数据删除掉。等到回收周期真正到了以后,hdfs才会将数据真正删除。默认的单位是分钟-->
<property>
  <name>fs.trash.interval</name>
  <value>1440</value>
</property>

Esc + wq + 回车 保存

根据配置中hadoop.tmp.dir的设置,在linux中新建/usr/local/src/hadoop/tmp目录

mkdir /usr/local/src/hadoop/tmp
(7)、12.4.7 在master节点配置hdfs-site.xml

说明:hdfs-site.xml文件表示HDFS配置文件,继承core-site.xml,用于设置HDFS的NameNode和DataNode两大进程

首先打开hdfs-site.xml配置文件

vi /usr/local/src/hadoop/etc/hadoop/hdfs-site.xml

标签中加入配置信息

<!--以下为常规配置-->
<!--常规配置,该属性必填,指定HDFS副本的数量,默认值是3,本机也有3个节点,可以写3。但实际上按照1+X运维的指导书,此处只配置两个datanode,所以这里个人认为其实填写3也是符合实际情况的-->
<property>
    <name>dfs.replication</name>   
    <value>3</value>
</property>

<!-- 打开NameNode和DataNode的 WebHDFS (REST API),启用 webhdfs,默认也是打开的 -->
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

<!-- 该属性可以不填但建议修改,namenode数据的存放地点。也就是namenode元数据存放的地方,记录了hdfs系统中文件的元数据,如果指定了存放目录要手动创建该文件夹。按照1+X大数据平台运维的高可用集群指导书,此处的名称和路径相比完全分布式集群都发生了变化-->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/src/hadoop/tmp/hdfs/nn</value>
</property>

<!-- 该属性可以不填但建议修改,datanode数据的存放地点。也就是block块存放的目录了,如果指定了存放目录要手动创建该文件夹。按照1+X大数据平台运维的高可用集群指导书,此处的名称和路径相比完全分布式集群都发生了变化-->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/src/hadoop/tmp/hdfs/dn</value>
</property>

<!-- 配置dfs操作是否需要权限,默认需要开启权限检查,一般针对windows开发环境下登陆操作时,如果设置了就不需要在java代码中加入System.setProperty("HADOOP_USER_NAME","root"); -->
<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>

<!--开启权限,允许向已存在的hdfs文件中添加数据。默认不允许-->
<property>
  <name>dfs.support.append</name>
  <value>true</value>
</property>



<!--以下为高可用配置-->
<!-- journalnode 集群之间通信的超时时间 -->
<property>
  <name>dfs.qjournal.start-segment.timeout.ms</name>
  <value>60000</value>
</property>

<!--必备配置,指定 hdfs 的 nameservice 为 mycluster,需要和 core-site.xml 中的名称保持一致
dfs.ha.namenodes.[nameservice id]为在 nameservice 中的每一个 NameNode 设置唯一标示
符。配置一个逗号分隔的NameNode ID列表。这将是被DataNode识别为所有的NameNode。
如果使用"mycluster"作为 nameservice ID,并且使用"master""slave1"作为 NameNodes 标
示符 -->
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>

<!-- mycluster要求与之前命名的一致,此处表示mycluster下面有两个 NameNode,分别是 master,slave1 -->
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>master,slave1</value>
</property>

<!-- 指定mycluster下第一个NameNode(即master)的 RPC 通信地址 -->
<property>
  <name>dfs.namenode.rpc-address.mycluster.master</name>
  <value>master:8020</value>
</property>

<!-- 指定mycluster下第二个NameNode(即slave1)的 RPC 通信地址 -->
<property>
  <name>dfs.namenode.rpc-address.mycluster.slave1</name>
  <value>slave1:8020</value>
</property>

<!--手动运行的FC功能(从CLI)等待健康检查、服务状态的超时时间。-->
<property>
  <name>ha.failover-controller.cli-check.rpc-timeout.ms</name>
  <value>60000</value>
</property>

<!-- 指定mycluster下第一个NameNode(即master)的 http 通信地址 -->
<property>
  <name>dfs.namenode.http-address.mycluster.master</name>
  <value>master:50070</value>
</property>

<!-- 指定mycluster下第二个NameNode(即slave1)的 http 通信地址 -->
<property>
  <name>dfs.namenode.http-address.mycluster.slave1</name>
  <value>slave1:50070</value>
</property>

<!-- 指定 NameNode在journalnode的存储位置,即 edits 元数据的共享存储位置。也就是 JournalNode 列表
该 url 的配置格式:qjournal://host1:port1;host2:port2;host3:port3/journalId
journalId 推荐使用 nameservice,默认端口号是:8485 -->

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster
</property>

<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/usr/local/src/hadoop/tmp/hdfs/jn</value>
</property>

<!-- 开启 NameNode 失败自动切换 -->
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>

<!-- 开启mycluster配置失败自动切换实现方式 -->
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行 -->
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>
    sshfence
    shell(/bin/true)
  </value>
  <description></description>
</property>

<!-- 使用 sshfence 隔离机制时需要 ssh 免登陆 -->
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>

<!-- 配置 sshfence 隔离机制超时时间 -->
<property>
  <name>dfs.ha.fencing.ssh.connect-timeout</name>
  <value>30000</value>
</property>

根据上一步的配置,在linux中新建namenode,datanode, journalnode相应的目录(依次执行)

mkdir -p /usr/local/src/hadoop/tmp/hdfs/nn
mkdir -p /usr/local/src/hadoop/tmp/hdfs/dn
mkdir -p /usr/local/src/hadoop/tmp/hdfs/jn

知识点补充:-p, --parents 需要时创建上层目录,如目录早已存在则不当作错误
说明:因为dfs目录并不存在,所以这里用mkdir –p来简化创建步骤

(8)、在master节点配置mapred-site.xml(同全分布式集群配置)

说明:mapred-site.xml文件表示MapReduce配置文件,继承core-site.xml
复制mapred-site.xml.template配置文件,改为mapred-site.xml

ls /usr/local/src/hadoop/etc/hadoop/

会发现并没有mapred-site.xml文件,执行复制命令:将mapred-site.xml.template复制并更名为mapred-site.xml

cp /usr/local/src/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/src/hadoop/etc/hadoop/mapred-site.xml

打开mapred-site.xml配置文件

vi /usr/local/src/hadoop/etc/hadoop/mapred-site.xml

标签中加入配置信息并保存

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description>必须配置,取值local、classic或yarn其中之一,如果不是yarn,则不会使用YARN集群来实现资源的分配</description>
</property>

<!--配置mapreduce的JobHistory服务器(可选),下面是预留配置信息-->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
    <description>可选配置,定义历史服务器的地址和端口,通过历史服务器查看已经运行完的Mapreduce作业记录。JobHistory Server管理的日志的存放位置。master表示主机名,默认端口号也是10020</description>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
   <description>可选配置,表示jobhistory访问网址网址,可以查看历史服务器已经运行完的Mapreduce作业记录的web地址。master表示主机名,默认端口号也是19888</description>
</property>
(9)、在master节点配置yarn-site.xml

说明:yarn-site.xml文件表示Yarn配置文件,继承core-site.xml

打开yarn-site.xml配置文件
vi /usr/local/src/hadoop/etc/hadoop/yarn-site.xml
标签中加入配置信息并保存

<!-- 常规配置 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>reducer获取数据的方式,NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运行MapReduce程序</description>
</property>

<!-- 配置后,可以在hadoop的任务管理界面(网页中)查看日志功能。原来只能在执行maprecue或是在日志文件中才能查看-->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
  <description>是否启用日志聚合功能,日志聚合开启后保存到HDFS上。默认是false</description>
</property>
<!-- 任务历史服务-->
<property> 
    <name>yarn.log.server.url</name> 
<value>http://master:19888/jobhistory/logs/ 
<description>如果不配置这里,无法在http://master:8088/上查看yarn上执行job的log日志(ljy后期遇到此类问题后加上)
</property>
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>86400</value>
  <description>聚合后的日志在HDFS上保存多长时间,单位为秒。86400即为24小时</description>
</property>


<!--高可用配置 -->
<!-- 开启 RM 高可用 -->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<!-- 指定 resourcemanager 的 cluster id配置,标识集群。由选民使用,以确保RM不会接管作为另一个群集的活动。 -->
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>yrc</value>
</property>
<!-- 指定 resourcemanager的名字,下面需要用名字进行配置 -->
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<!-- 分别指定resourcemanager的地址,对应其他配置文件的namenode主机地址 -->
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>master</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>slave1</value>
</property>
<!-- 指定 zookeeper 集群地址,在其他配置文件也有相似设定-->
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>master:2181,slave1:2181,slave2:2181</value>
</property>

<!-- 启用自动恢复 -->
<property>
  <name>yarn.resourcemanager.recovery.enabled</name>
  <value>true</value>
</property>
<!-- 指定resourcemanager 的状态信息存储在 zookeeper 集群上 -->
<property>
  <name>yarn.resourcemanager.store.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

12.4.10 在master节点配置slaves文件
说明:在/usr/local/src/hadoop/etc/hadoop/目录下,用于记录hadoop集群的DataNode的主机名,本机将master只设置为namenode节点,所以只录入slave1,slave2.

vi /usr/local/src/hadoop/etc/hadoop/slaves

12.4.10.2 在打开的文本中删除localhost,然后录入

master
slave1
slave2
(10)、将master的hadoop安装文件同步到slave节点

在master虚拟机将hadoop的配置文件发给其他节点(覆盖profile文件)
发送给slave1

scp /etc/profile slave1:/etc/profile

发送给slave2

scp /etc/profile slave2:/etc/profile

master虚拟机将hadoop安装好的文件夹发给其他节点(slave1,slave2)
发送给slave1

scp -r /usr/local/src/hadoop slave1:/usr/local/src

发送给slave2

scp -r /usr/local/src/hadoop slave2:/usr/local/src
(11)、在slave1和slave2主机重置/etc/profile文件

在slave1和slave2节点分别执行下面命令

source /etc/profile
(12)、初始化并启动集群

启动zookeeper(否则无法注册ZNode)
在各个节点执行下面命令

zkServer.sh start

启动 journalnode 守护进程

在master节点执行命令
就可以启动所有节点的journalnode进程

hadoop-daemons.sh start journalnode

输入jps可查看进程

(13)、格式化元数据

在master节点执行下述命令

hdfs namenode -format

状态为0显示的是成功,如果显示为1,则失败,注意查看哪里出问题,一般为配置文件

(14)、注册ZNode

在master节点执行下述命令

hdfs zkfc -formatZK

说明:连接上zookeeper集群,然后在zookeeper集群上面创建一个znode节点: /hadooop-ha/ns1,所以在哪里格式化zkfc其实不并重要,重要的是在zookeeper集群上创建znode

启动hadoop的hdfs组件和yarn组件
在master节点执行命令

start-all.sh
此时可以看到master节点有namenode节点进程,但是slave1并没有namenode进程

同步master的namenode的元数据信息到其他节点
在master节点执行命令

scp -r /usr/local/src/hadoop/tmp/hdfs/nn/* slave1:/usr/local/src/hadoop/tmp/hdfs/nn/
scp -r /usr/local/src/hadoop/tmp/hdfs/nn/* slave2:/usr/local/src/hadoop/tmp/hdfs/nn/

在 slave1 上启动 resourcemanager 和 namenode 进程

yarn-daemon.sh start resourcemanager
hadoop-daemon.sh start namenode

启动Web Application Proxy代理服务器

yarn-daemon.sh start proxyserver

启动 MapReduce 任务历史服务器jobhistory

mr-jobhistory-daemon.sh start historyserver
(15)、hadoop高可用集群的启动与关闭(已经初始化后)

启动hadoop高可用集群

start-all.sh

启动zookeeper

zkServer.sh start

在slave1节点启动resourcemanager进程

yarn-daemon.sh start resourcemanager

启动Web Application Proxy代理服务器

yarn-daemon.sh start proxyserver

启动 MapReduce 任务历史服务器jobhistory

mr-jobhistory-daemon.sh start historyserver

关闭hadoop高可用集群
关闭 MapReduce 任务历史服务器jobhistory
在master节点执行命令

[root@master ~]# mr-jobhistory-daemon.sh stop historyserver

关闭hadoop组件

stop-all.sh

关闭zookeeper
zkServer.sh stop

(16)、查看namenode的active和standby状态

说明:只有在active的namenode上才能执行hdfs操作
通过网址查看
打开http://master:50070/explorer.html#/和http://master:50070/explorer.html#/网站,如果在其中一个网站看到如下的提示(Operation category READ is not supported in state standby),则表示该namenode节点是备用的
通过命令查看

hdfs haadmin -getServiceState master
hdfs haadmin -getServiceState slave1
(17)、高可用集群测试

说明:通过关掉当前活跃的namenode,检查处于standby的namenode节点变为active
查看哪个namenode是活跃的

hdfs haadmin -getServiceState master
hdfs haadmin -getServiceState slave1

关闭活跃的namenode节点

hadoop-daemon.sh stop namenode

查看原来standby的namenode节点状态

hdfs haadmin -getServiceState slave1

查看原来active的namenode节点状态

hdfs haadmin -getServiceState master

说明:因为master节点的namenode已经关闭,所以显示连接不上

启动原来active的namenode

hadoop-daemon.sh start namenode
hdfs haadmin -getServiceState master

使用Java API操作hadoop高可用集群的HDFS下次再讲

你可能感兴趣的:(hadoop)