离线计算---Hadoop集群搭建

1 集群搭建

本案例Hadoop集群，使用6个服务器节点进行搭建，各节点大体部署的服务如图所示：

2 集群介绍

• Hadoop集群，主要包含两个：①HDFS集群；②YARN集群
• HDFS集群，主要角色：①NameNode；②DataNode
• YARN集群，主要角色：①ResourceManager；②NodeManager

各个服务器具体角色分配：

HostName	角色	角色	角色
ha01	zookeeper	namenode(actvie)	resourcemanager(active)
ha02	zookeeper	namenode(standby)	-
ha03	zookeeper	-	resourceManager(standby)
ha04	dataNode	nodeManager	JournalNode
ha05	dataNode	nodeManager	JournalNode
ha06	dataNode	nodeManager	JournalNode

部署图如下：

3 搭建过程

3.1 服务器准备

 准备虚拟机：Vmware11.0 ， Centos 6.5 64bit

3.2 网络环境准备

• 采用NAT方式联网
• 网关地址：192.168.254.100
• 服务器节点IP地址：

服务器IP地址
192.168.254.101
192.168.254.102
192.168.254.103
192.168.254.104
192.168.254.105
192.168.254.106

• 子网掩码：255.255.255.0

3.3 服务器系统设置

• 永久关闭防火墙：每台服务器均先执行：service iptables stop ，后执行：chkconfig iptables off
• 设置主机名：服务器各自设置主机名：vim /etc/sysconfig/network，

服务器IP	主机名
192.168.254.101	HOSTNAME=ha01
192.168.254.102	HOSTNAME=ha02
192.168.254.103	HOSTNAME=ha03
192.168.254.104	HOSTNAME=ha04
192.168.254.105	HOSTNAME=ha05
192.168.254.106	HOSTNAME=ha06

然后各自在服务器上执行命令：hostname 主机名，以便达到不重启服务器主机名生效的目的

• 配置每台服务器hosts文件，执行命令：vim /etc/hosts

hosts文件
127.0.0.1 localhost
::1 localhost
192.168.254.101 ha01
192.168.254.102 ha02
192.168.254.103 ha03
192.168.254.104 ha04
192.168.254.105 ha05
192.168.254.106 ha06

然后通过远程copy命令将配置好的hosts文件scp到其他5台服务器节点上，命令如下：
scp /etc/hosts root@ha01:/etc
scp /etc/hosts root@ha02:/etc
scp /etc/hosts root@ha03:/etc
scp /etc/hosts root@ha04:/etc
scp /etc/hosts root@ha05:/etc
scp /etc/hosts root@ha06:/etc

• 配置服务器免密登录：在每台服务器中各自执行命令：ssh-keygen，然后执行命令
  ssh-copy-id root@ha01
  ssh-copy-id root@ha02
  ssh-copy-id root@ha03
  ssh-copy-id root@ha04
  ssh-copy-id root@ha05
  ssh-copy-id root@ha06

3.4 JDK安装

• 上传jdk1.8安装包
• 安装目录：/home/appsystem/jdk1.8（这里选择目录/home/appsystem统一存放所有应用程序）
• 解压安装包：tar -zxvf jdk1.8.jar
• 配置环境变量：/etc/profile，配置完成后执行：source /etc/profile使其生效，并通过命令：java -version检查jdk是否安装成功

profile文件
export JAVA_HOME = /home/appsystem/jdk1.8
export CLASSPATH = $JAVA_HOME/lib/dt.jar: $JAVA_HOME/lib/tools.jar
export PATH = $JAVA_HOME/bin: $PATH

可通过只安装好一台服务器的JDK后，使用scp 远程复制到各个服务器中，节省时间

3.5 zookeeper集群安装

• 在ha01服务器节点上传zookeeper安装包
• 安装目录：/home/appsystem/zk（这里选择目录/home/appsystem统一存放所有应用程序）
• 解压安装包：tar -zxvf zk.tar.gz
• 进入zk的conf目录：cp zoo_sample.cfg zoo.cfg
• 修改zoo.cfg文件：vim zoo.cfg

zoo.cfg文件
dataDir=/home/appsystem/zk/tmp
server.1=192.168.254.101:2888:3888
server.2=192.168.254.102:2888:3888
server.3=192.168.254.103:2888:3888

• 创建 mkdir tmp 目录，cd tmp/进入目录中，编辑:vim myid为1
  
• 把安装好的zk，scp拷贝到ha02和ha03节点与ha01相同目录下，然后分别修改myid文件为2和3，这样zk集群就搭建好了

服务器	myid文件中值
ha01	1
ha02	2
ha03	3

3.5 Hadoop集群安装

• 在ha01服务器节点上传Hadoop安装包
• 安装目录：/home/appsystem/hadoop（这里选择目录/home/appsystem统一存放所有应用程序）
• 解压安装包：tar -zxvf hadoop.jar
• 配置环境变量： /etc/profile，配置完成后执行：source /etc/profile使其生效

profile文件
export JAVA_HOME = /home/appsystem/jdk1.8
export HADOOP_HOME = /home/appsystem/hadoop
export CLASSPATH = $JAVA_HOME/lib/dt.jar: $JAVA_HOME/lib/tools.jar
export PATH = $JAVA_HOME/bin: $HADOOP_HOME/bin: $HADOOP_HOME/sbin: $PATH
export JAVA_HOME PATH CLASSPATH HADOOP_HOME

• 编辑hadoop-env.sh配置文件：vim hadoop-env.sh

export JAVA_HOME=/home/appsystem/jdk1.8
export HADOOP_CONF_DIR=/home/appsystem/hadoop/etc/hadoop

• 编辑core-site.xml配置文件：vim core-site.xml

	
	
	fs.defaultFS
	hdfs://ns
	
	
	
	hadoop.tmp.dir
	/home/appsystem/hadoop/tmp
	
	
	
	ha.zookeeper.quorum
	ha01:2181,ha02:2181,ha03:2181
	

• 编辑hdfs-site.xml配置文件：vim hdfs-site.xml

	
	
	dfs.nameservices
	ns
	
	
	
	dfs.ha.namenodes.ns
	nn1,nn2
	
	
	
	dfs.namenode.rpc-address.ns.nn1
	ha01:9000
	
	
	
	dfs.namenode.http-address.ns.nn1
	ha01:50070
	
	
	
	dfs.namenode.rpc-address.ns.nn2
	ha02:9000
	
	
	
	dfs.namenode.http-address.ns.nn2
	ha02:50070
	
	
	
	dfs.namenode.shared.edits.dir
	qjournal://ha04:8485;ha05:8485;ha06:8485/ns
	
	
	
	dfs.journalnode.edits.dir
	/home/appsystem/hadoop/journal
	
	
	
	dfs.ha.automatic-failover.enabled
	
	
	dfs.client.failover.proxy.provider.ns
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
	
	
	dfs.ha.fencing.methods
	sshfence
	
	
	
	dfs.ha.fencing.ssh.private-key-files
	/root/.ssh/id_rsa
	
	
	dfs.namenode.name.dir
	file:///home/appsystem/hadoop/tmp/namenode
	
	
	
	dfs.datanode.data.dir
	file:///home/appsystem/hadoop/tmp/datanode
	
	
	
	dfs.replication
	3
	
	
	
	dfs.permissions
	false
	

• 编辑mapred-site.xml配置文件：vim mapred-site.xml

	
	
	mapreduce.framework.name
	yarn
	

• 编辑yarn-site.xml配置文件：vim yarn-site.xml

	
	
	yarn.resourcemanager.ha.enabled
	true
	
	 
	
	
	yarn.resourcemanager.ha.rm-ids
	rm1,rm2
	
	 
	
	
	yarn.resourcemanager.hostname.rm1
	ha01
	
	 
	
	yarn.resourcemanager.hostname.rm2
	ha03
	
	 
	
	
	yarn.resourcemanager.recovery.enabled
	true
	
	 
	
	
	yarn.resourcemanager.store.class
	org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
	
	 
	
	
	yarn.resourcemanager.zk-address
	ha01:2181,ha02:2181,ha03:2181
	For multiple zk services, separate them with comma
	
	 
	
	
	yarn.resourcemanager.cluster-id
	yarn-ha
	
	 
	
	
	yarn.resourcemanager.hostname
	ha01
	
	
	
	
	yarn.nodemanager.aux-services
	mapreduce_shuffle
	

• 编辑salves文件：vi salves

Ha04
Ha05
Ha06

• 创建文件夹

mkdir -p /home/appsystem/hadoop/tmp/namenode /home/appsystem/hadoop/tmp/datanode
mkdir /home/appsystem/hadoop/journal

3.6 启动集群

3.6.1 启动zk集群

路径:/home/appsystem/zk/bin
执行:sh zkServer.sh start
在zk集群的leader节点下执行:hdfs zkfc -formatZK生成ha(ns)节点

3.6.2 启动journalnode集群

启动节点:ha04,ha05,ha06其中任意节点
Hadoop/sbin/sh hadoop-daemon.sh start journalnode

3.6.3 格式化和启动ha01节点的namenode

格式化节点:ha01
Hadoop/sbin/hadoop namenode -format
Hadoop/sbin/sh hadoop-daemon start namenode

3.6.4 启动ha02节点的namenode,并设置为standby

第一步把ha02节点变成standby namenode
Hadoop/sbin/hdfs namenode -bootstrapStandby
第二步启动ha02节点的namenode
Hadoop/sbin/sh hadoop-daemon.sh start namenod

3.6.5 启动ha04 ha05 ha06节点的datanode

Hadoop/sbin/sh hadoop-daemon.sh start datanode

3.6.5 启动ha01 ha02中的zkfc(FailoverController)

Hadoop/sbin/sh hadoop-daemon.sh start zkfc

3.6.6 启动ha01节点的主resourcemanager

Hadoop/sbin/sh start-yarn.sh
启动成功后ha04 ha05 ha06节点会生成nodemanager进程

3.6.7 启动ha03节点的副resourcemanager

Hadoop/sbin/sh yarn-daemon.sh start resourcemanager

3.7 查询集群是否正常启动

• 输入地址：http://192.168.254.101:50070，查看namenode的信息，是active状态的
• 输入地址：http://192.168.254.102:50070，查看namenode的信息，是standby状态的
• 停掉ha01节点：hadoop-daemon stop namenode，观察ha02是否变成active状态
• 查看yarn的管理地：http://192.168.254.101:8088（节点01的8088端口）
• 停掉ha01节点：yarn-daemon.sh stop resourcemanager，查看http://192.168.254.103:8088（节点01的8088端口）
• 在各个服务器中执行jps -l，查看是否上面介绍的各个服务器具体角色分配一直