今天我们来完成hadoop2.x的完全分布式环境搭建，话说学习本来是一件很快乐的事情，可是一到了搭环境就怎么都让人快乐不起来啊，搭环境的时间比学习的时间还多。都是泪。话不多说，走起。
1 准备工作
开工之前先说一下我们的机器环境：
一共是4台主机，主机1,2,3都是从master克隆过来的：
| 主机名 | IP | 用户 |
|---|---|---|
| hadoopmaster | 192.168.131.128 | hadoop |
| hadoopslaver1 | 192.168.131.130 | hadoop |
| hadoopslaver2 | 192.168.131.131 | hadoop |
| hadoopslaver3 | 192.168.131.132 | hadoop |
集群组成：
- Namenode：2台
- Datanode： 3台
- Journalnode：3台
- Zookeeper： 3台
- ZKFC：2台
- ResourceManager：2台
- NodeManager：3台
| Namenode | Datanode | Journalnode | Zookeeper | ZKFC | ResourceManager | NodeManager | |
|---|---|---|---|---|---|---|---|
| hadoopmaster | 1 | 1 | 1 | 1 | |||
| hadoopslaver1 | 1 | 1 | 1 | 1 | 1 | 1 | |
| hadoopslaver2 | 1 | 1 | 1 | 1 | 1 | ||
| hadoopslaver3 | 1 | 1 | 1 |
首先我们保证做好了如下工作：
- 关闭防火墙
- 安装jdk
- 配置好了环境变量
本次安装的hadoop版本为2.7.3。
1.1 关闭防火墙，修改主机名、配置host文件、设置时间同步
1.1.1 防火墙状态
查看防火墙是否开启
# service iptables status
如果开启则使用如下命令关闭
# service iptables stop
1.1.2 修改主机名：
修改master主机的 /etc/sysconfig/network文件，将HOSTNAME改为master,其余三台主机分别改为对应的主机名。
# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoopmaster
其余三台分别改为相应的主机名，现在四台主机的主机名分别是：
192.168.131.128 hadoopmaster
192.168.131.130 hadoopslaver1
192.168.131.131 hadoopslaver2
192.168.131.132 hadoopslaver3
1.1.3 修改host文件
# vim /etc/hosts
添加如下配置：
192.168.131.128 hadoopmaster
192.168.131.130 hadoopslaver1
192.168.131.131 hadoopslaver2
192.168.131.132 hadoopslaver3
1.1.4 删除持久化文件/etc/udev/rules.d/70-persistent-net.rules ,重启虚拟主机，使配置生效。
# rm /etc/udev/rules.d/70-persistent-net.rules
| TIPS： 该文件记录的是当前主机的MAC地址与IP地址的映射关系，因为我们后面三台主机都是通过克隆来的，所以四台主机的MAC地址是一样的。后面我们四台主机通信的时候你却会发现有问题，我们需要删除这个持久化文件，然后重启一下机器，系统会检测该文件，发现不存在会重新生成该文件。 |
1.1.5 4台主机做时间同步
# yum install ntp
使用ntp工具来同步时间，这里使用的时间服务器的ip是上海交通大学学的NTP服务器地址，其他的地址自行百度：
# ntpdate 202.120.2.101
需要注意的是，如果执行上面的命令出现如下提示：
ntpdate[2747]: no server suitable for synchronization found
首先检查你的防火墙是否关闭，没有的话先关闭，如果关闭了还是不行可以试一下如下方法：
使用rdate命令来更新服务器时间，
查看时间服务器的时间:
# rdate time-b.nist.gov
如果命令不生效请安装rdate，
yum install -y rdate
设置时间和时间服务器同步:
# rdate -s time-b.nist.gov
| TIPS： 以上所有操作需要在4台机器上同步执行！！！ |
2 配置ssh免密
如果设置主机master到主机slaver1的免密钥登录，可按如下方式进行：
在A主机执行
1、# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
-t 密钥类型（rsa 或 dsa）
-P 旧密码 ''代表为空
-f 密钥文件生成后，保存的位置
2、# ssh-copy-id 192.168.131.130
IP是主机slaver1的IP地址，将主机master生成的密钥，拷贝到远程主机对应的账户下
执行过程中，会提示让输入主机slaver1的登录密码
我们可以使用上面的命令设置4台机器互相免密。
3 安装jdk，hadoop，zookeeper，配置环境变量
3.1 配置环境变量
这里我用的jdk是1.8，hadoop是2.7，zookeeper是3.4.11.配置环境变量：
# vim /etc/profile
环境信息如下：
JAVA_HOME=/usr/java/jdk
JRE_HOME=/usr/java/jdk/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
配置完成以后执行：
# source /etc/profile
使配置生效。
3.2 安装zookeeper
| 注意： 环境配置中后面有关zookeeper这两行只用在master、slaver1和slaver2中配置，即只在这三台机器中安装zookeeper。 |
zookeeper解压到/usr/local/zookeeper目录，我们进入目录/usr/local/zookeeper/conf修改文件模板文件：
mv zoo_sample.cfg zoo.cfg
1.首先修改文件中的dataDir，路径是zookeeper的快照存储路径,不要使用默认的路径，重启的话会清空/tmp目录导致数据丢失：
dataDir=/usr/local/zookeeper/tmp
| ✔此处注意：tmp目录是我新建的。 |
2.在文件的最后加入zookeeper节点的配置：
server.1=hadoopmaster:2888:3888
server.2=hadoopslaver1:2888:3888
server.3=hadoopslaver2:2888:3888
然后我们需要注意的是：上面指定的配置节点server1.2.3是需要我们手动指定，需要在快照目录新建一个文件：myid。
# vim myid
然后内容为该服务器对应的节点id，本次试验：hadoopmaster对应的是1，hadoopslaver1对应的是2，hadoopslaver2对应的是3.
上面我们在master中配置完之后需要分别在另外两台也要配置，我们直接复制过去得了：
scp -r zookeeper hadoopslaver1:/usr/local/zookeeper
scp -r zookeeper hadoopslaver2:/usr/local/zookeeper
然后记得改一下myid，hadoopslaver1的改为2，hadoopslaver2的改为3。
好了，配置完成，接下来到了激动人心的启动时刻，启动脚本在bin目录下的zkServer.sh文件:
zkServer.sh start
| TIPS： ✔✔注意：三台机器都需要启动啊！！！ |
查看zookeeper的状态：
zkServer.sh status
如果出现如下提示表明启动成功：
关闭命令：
zkServer.sh stop
3.3 安装hadoop
hadoop集群的配置文件主要涉及到以下这几个：
hadoop-env.sh
core-site.xml
hdfs-site.xml
slaves
mapred-site.xml
yarn-site.xml
下面以此对上面的文件进行配置：
hadoop-env.sh文件，设置jdk的路径：
export JAVA_HOME=/usr/java/jdk
core-site.xml文件，在configuration里面添加如下配置：
fs.defaultFS
hdfs://rickiyang
hadoop.tmp.dir
/usr/local/hadoop/tmp
ha.zookeeper.quorum
hadoopmaster:2181,hadoopslaver1:2181,hadoopslaver2:2181
hdfs-site.xml文件：
dfs.nameservices
rickiyang
dfs.ha.namenodes.rickiyang
nn1,nn2
dfs.namenode.rpc-address.rickiyang.nn1
hadoopmaster:8020
dfs.namenode.rpc-address.rickiyang.nn2
hadoopslaver1:8020
dfs.namenode.http-address.rickiyang.nn1
hadoopmaster:50070
dfs.namenode.http-address.rickiyang.nn2
hadoopslaver1:50070
dfs.namenode.shared.edits.dir
qjournal://hadoopmaster:8485;hadoopslaver1:8485;hadoopslaver2:8485/rickiyang
dfs.client.failover.proxy.provider.rickiyang
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
dfs.ha.fencing.methods
sshfence
dfs.ha.fencing.ssh.private-key-files
/hadoop/.ssh/id_rsa
dfs.journalnode.edits.dir
/usr/local/hadoop/journal/data
dfs.ha.automatic-failover.enabled
true
复制配置文件的时候把注释删除，注释是给你看的，不用放进去。
slaves文件： 配置datanode的主机名称：
hadoopslaver1
hadoopslaver2
hadoopslaver3
mapred-site.xml文件，配置yarn：
使用自带的模板文件
# mv mapred-site.xml.template mapred-site.xml
mapreduce.framework.name
yarn
yarn-site.xml文件：
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.ha.enabled
true
yarn.resourcemanager.cluster-id
myyarncluster
yarn.resourcemanager.ha.rm-ids
rm1,rm2
yarn.resourcemanager.hostname.rm1
hadoopslaver2
yarn.resourcemanager.hostname.rm2
hadoopslaver3
yarn.resourcemanager.zk-address
hadoopmaster:2181,hadoopslaver1:2181,hadoopslaver2:2181
以上6个文件配置完毕，同步至其他3台主机：
进入路径：/usr/local/hadoop/etc/hadoop/下：
scp * hadoopslaver1:`pwd`
scp * hadoopslaver2:`pwd`
scp * hadoopslaver3:`pwd`
启动journalnode集群。（之所以将journalnode集群放在namenode之前启动，是因为namenode启动时，会往journalnode写入edits日志文件）
在三台journalnode主机分别启动：
hadoop-daemon.sh start journalnode
NN的格式化 与 同步
在其中一台NN上，执行文件系统的格式化操作。注意：此处的格式化并非真正的格式化，而是一些准备和清除操作（比如清空fsimage和edits文件的存储目录下已有的文件）
hdfs namenode -format
此时，这一台NN已经完成了格式化操作，接下来，需要将格式化之后的文件系统同步到另一台NN。同步时，第二台NN会从第一台NN读取数据，故需要先将第一台NN启动起来。
hadoop-daemon.sh start namenode
第一台NN启动后，在第二台NN上执行以下命令（此时NN尚未启动），即可完成同步操作：
hdfs namenode -bootstrapStandby
zookeeper集群的格式化
在上面已经启动了zookeeper集群，故此处在其中一台NN上执行以下命令，完成zookeeper的格式化：
集群的一些高可用信息读到zookeeper中
hdfs zkfc -formatZK
至此，Hadoop完全分布式集群的配置工作都已经完成！
接下来，启动集群，在其中一台主机上执行以下命令（最好是在NN上执行，因为NN->DN设置了免密钥）：
start-all.sh
然后分别在RS主机上启动resourcemanager：
yarn-daemon.sh start resourcemanager
在start-all.sh的时候会有如下信息输出：
在上面截图的信息中我们可以看到，集群的启动顺序是：
| NN –> DN –> JN –>ZKFC –> NM |
jps 查看进程
hadoop集群的启动顺序：
1、启动zk集群
zkServer.sh start | status
2、start-all.sh
3、手动启动两台RS
yarn-daemon.sh start resourcemanager
停止顺序：
1、stop-all.sh
2、手动停止两台rs
yarn-daemon.sh stop resourcemanager
3、停止zk集群
启动完成，浏览器访问：
至此，我们的高可用环境就搭建完毕了。大家动手尝试吧！