HADOOP集群的安装与配置（虚拟机搭建）

实验内容

1. 安装 VMware
   ①接受许可，一直点击下一步。（安装过程中如果提示需要重启电脑，则重启即可）
   ②到最后一步输入产品许可证，将附件中的产品许可秘钥填入即可。
2. 搭建虚拟机
   Centos 7 清华镜像 https://mirrors.tuna.tsinghua.edu.cn/centos/7/isos/x86_64/

自定义硬件，移除声卡和打印机

以上步骤都完成之后点击开启虚拟机，安装 centos7。

时区选择上海。

选择安装位置
设置 root 账户的密码。

完成
3. 配置静态 IP，修改主机名
(1).虚拟机连接方式选择 NAT 模式。
(2).确认好 VmWare 生成的网关地址
在 VMware 里,点击”编辑”—>”虚拟网络编辑器”,选择 NAT 模式。为了能够使用静态 IP，
不要勾选使用本地 DHCP。NAT 模式相当于配置了一个子路由器。通过 NAT 设置查看虚拟机
网关。
(3)…集群规划。
主机名称与主机 IP 地址自行拟定。IP 地址只要和网关处于同一网段就行，如
192.168.139.xxx 。主机名称需区别三台机器。确定三台机器主机名称与 IP 地址对应关系。
IP 主机名
192.168.139.110 hadoop0
192.168.139.111 hadoop1
192.168.139.112 hadoop2
(4).在虚拟机里打开终端，输入命令文件 ifcfg-ens33 就是网络配置，编辑该文件：
命令：
cd /etc/sysconfig/network-scripts/
vim ifcfg-ens33
进入之后如下所示，按字母 i 进入编辑模式，即可修改内容。修改完之后先 esc 退出编辑模
式，再按冒号 ：然后输入 wq 回车，即保存退出。
改完上面的内容之后在终端输入 service network start 重启网络。重启之后静态 IP 配置
完成
输入 ifconfig【安装命令：yum -y install net-tools】即可查看网络配置信息。
(5)修改主机名
输入 hostname 查看主机名。
输入 hostnamectl set-hostname hadoop0 便将主机名修改成了 hadoop0（这里主机名
字自己起，需对应主机 IP 地址）
之后用重启该终端就好啦。
4. 永久关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
systemctl status firewalld
5. 配置 Host
vi /etc/hosts
6. 安装时间同步服务(ntp)
安装：yum install -y ntp
启动并查看状态：
systemctl start ntpd.service
systemctl status ntpd.service
设置开机自启：systemctl enable ntpd.service
7. 安装并配置 JDK
创建目录：mkdir /usr/java
使用 xftp 工具上传 JDK 包到创建好的目录下
解压 JDK 包：tar -zxvf jdk-8u221-linux-x64.tar.gz
删除 JDK 压缩包：rm -f jdk-8u221-linux-x64.tar.gz
最终/usr/java 目录下文件为
配置环境变量 :vi /etc/profile，在文件末尾加入
使环境变量立即生效命令：source /etc/profile
输入 java -version 命令查看 java 版本：
8. 将刚刚的 hadoop0 虚拟机克隆两台出来
Vmware 左侧选中要克隆的机器，这里对原有的 hadoop0 机器进行克隆，虚拟机菜单中，
选中管理菜单下的克隆命令。
选择“创建完整克隆”，虚拟机名称为 hadoop1，选择虚拟机文件保存路径，进行克隆。
再次克隆一个名为 hadoop2 的虚拟机。
克隆之后的三台 centos 根据集群规划确定的主机名称及 IP 地址分别进行上述的修改静态 IP、
修改主机名操作。
9. 设置 SSH 无密码登录
在 hadoop0 上生成公钥，一路回车 ssh-keygen -t rsa
分发公钥
ssh-copy-id hadoop0
ssh-copy-id hadoop1
ssh-copy-id hadoop2
期间要输入 yes 确认及各个节点的密码。
同样的在 hadoop1、hadoop2 上生成公钥后，分发到三台机器上。
10. 创建安装目录
创建要用到的目录结构，在三个结点分别执行
mkdir /opt/modules/softwares
11. 下载本文中用到的程序并解压
将 hadoop-2.8.5.tar.gz 和 zookeeper-3.4.14.tar.gz 通 过 xftp 工 具 上 传 到 hadoop0 的
/opt/modules/softwares 目 录 下 并 解 压 ， 命 令 为 tar -zxvf hadoop-2.8.5.tar.gz 和 tar -zxvf
zookeeper-3.4.14.tar.gz。
12. 配置环境变量：vi /etc/profile,添加内容到文件末尾
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOO{P}_{H}OMEexportHADOO{P}_{M}APRE{D}_{H}OME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOO{P}_{H}OMEexportHADOO{P}_{H}DF{S}_{H}OME=$HADOOP_HOME
export YARN_HOME=$HADOO{P}_{H}OMEexportHADOO{P}_{C}OMMO{N}_{L}I{B}_{N}ATIV{E}_{D}IR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOO{P}_{H}OME/lib/native/"exportPATH=$PATH:$HADOO{P}_{H}OME/sbin:$HADOOP_HOME/bin
完成后退出编辑，并使用 source /etc/profile 命令使其生效。
13.安装 Zookeeper3.4.9
13.1.修改配置文件 zoo.cfg
[root@hadoop0 softwares]# cd zookeeper-3.4.14/conf/
[root@hadoop0 conf]# mv zoo_sample.cfg zoo.cfg
[root@hadoop0 conf]# vi zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/modules/softwares/zookeeper-3.4.14/data/zData
clientPort=2181
server.0=hadoop0:2888:3888
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
13.2 创建 myid 文件，在 dataDir 所指定的目录下创一个名为 myid 的文件，文件内容为 server
点后面的数字
[root@hadoop0 zookeeper-3.4.14]# mkdir -p data/zData
[root@hadoop0 zookeeper-3.4.14]# touch data/zData/myid
[root@hadoop0 zookeeper-3.4.14]# echo 0 >> data/zData/myid
[root@hadoop0 zookeeper-3.4.14]# cat data/zData/myid
0
13.3 分发到其他节点
[root@hadoop0 zookeeper-3.4.14]# scp -r /opt/modules/softwares/zookeeper-3.4.14/
hadoop1:/opt/modules/softwares
[root@hadoop1 zookeeper-3.4.14]# scp -r /opt/modules/softwares/zookeeper-3.4.14/
hadoop2:/opt/modules/softwares
13.4 修改其他节点上的 myid 文件
[root@hadoop1 zookeeper-3.4.14]# echo 1 >/opt/modules/softwares/zookeeper3.4. 14/data/zData/myid
[root@hadoop1 zookeeper-3.4.14]# cat /opt/modules/softwares/zookeeper3.4.14/d
ata/zData/myid
1
[root@hadoop2 zookeeper-3.4.14]# echo 2 >/opt/modules/softwares/zookeeper3.4. 14/data/zData/myid
[root@hadoop2 zookeeper-3.4.14]# cat /opt/modules/softwares/zookeeper3.4.14/d
ata/zData/myid
2
13.5 在每个节点都启动 zookeeper
[root@hadoop0 zookeeper-3.4.14]# bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/modules/zookeeper-3.4.14/bin/…/conf/zoo.cfg
Starting zookeeper … STARTED
以上代码每个节点都需要执行。
13.6 查看状态
使用 jps 命令可以看到 QuorumPeerMain 进程
[root@localhost zookeeper-3.4.14]# bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/modules/zookeeper-3.4.14/bin/…/conf/zoo.cfg
Mode:follower（hadoop0 和 hadoop2 为 follower，hadoop1 为 leader）
14.安装 Hadoop2.8.5
14.1.1 修改配置文件 core-site.xml
编辑 /opt/modules/softwares/hadoop-2.8.5/etc/hadoop/core-site.xml 文件，内容如下：


fs.default.name
hdfs://hadoop0:9000


hadoop.tmp.dir
/opt/modules/softwares/hadoop-2.8.5/tmp


14.1.2 修改配置文件 hdfs-site.xml
编辑 /opt/modules/softwares/hadoop-2.8.5/etc/hadoop/hdfs-site.xml 文件并保存，内容
如下：


dfs.replication
1


dfs.namenode.name.dir
/opt/modules/softwares/hadoop-2.8.5/tmp/dfs/name


dfs.datanode.data.dir
/opt/modules/softwares/hadoop-2.8.5/tmp/dfs/data


dfs.namenode.secondary.http-address
hadoop0:9001


14.1.3 复制文件 mapred-site.xml.template 新文件命名为 mapred-site.xm。
编辑 /opt/modules/softwares/hadoop-2.8.5/etc/hadoop/mapred-site.xml 文件并保存，内
容如下：


mapreduce.framework.name
yarn


14.1.4 修改配置文件 yarn-site.xml
编辑 /opt/modules/softwares/hadoop-2.8.5/etc/hadoop/yarn-site.xml 文件并保存，内容
如下：


yarn.resourcemanager.hostname
hadoop0


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.log-aggregation-enable
true


yarn.log-aggregation.retain-seconds
604800


14.1.5 修改配置文件 slaves
编辑 /opt/modules/softwares/hadoop-2.8.5/etc/hadoop/slaves 文件并保存，内容如下：
hadoop0
hadoop1
hadoop2
14.1.6 修改配置文件 hadoop-env.sh、mapred-env.sh、yarn-env.sh，将其中的 JAVA_HOME 改
为 JDK 的路径。
14.2 创建相应目录
在 hadoop0 上创建以下目录：
tmp 目录：/opt/modules/softwares/hadoop-2.8.5/tmp
dfs 目录：/opt/modules/softwares/hadoop-2.8.5/tmp/dfs
name 目录：/opt/modules/softwares/hadoop-2.8.5/tmp/dfs/name

15. 启动集群
    要启动 hadoop 集群，需要启动 HDFS 和 YARN 两个模块，注意，首次启动 HDFS 时，需
    要在 hadoop0 上对其进行格式化操作。
    [root@hadoop0 hadoop-2.8.5]# bin/hdfs namenode -format
    格式化完成后即可启动集群：
    启动 hdfs：[root@hadoop0 hadoop-2.8.5]# sbin/start-dfs.sh
    启动 yarn：[root@hadoop0 hadoop-2.8.5]# sbin/start-yarn.sh
    执行 jps 命令查看进程是否正常启动
    访问 dfs：http://192.168.139.110:50070
    访问 yarn：http://192.168.139.110:8088