一,准备环境
1 使用VMware创建三台虚拟主机,最小化安装Centos7
2 配置好固定IP分别为192.168.2.75 ,192.168.2.76 192.168.2.77,并保证可以通外网
# vi /etc/sysconfig/network-scirpts/ifcfg-eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.2.75
NETMASK=255.255.254.0
GATEWAY=192.168.2.1
DNS1=192.168.2.1
生效:
#systemctl restart network #ping www.baidu.com
3 设置主机名 hostnamectl set-hostname cmaster cslave1 cslave2
4 做/etc/hosts中的解析:
192.168.2.75 cmaster
192.168.2.76 cslave1
192.168.2.77 cslave2
检查是否解析成功需要三台机器互相ping 通
#ping cmaster #ping cslave1 #ping cslave2
3 永久关闭selinux
#setenfore 0 #getenfore disabled
4 关闭防火墙并设置为开机不启动
#systemctl stop firewalld #systemctl disable firewalld
完成以上配置需要reboot
5 安装jdk1.8.0_151
# mkdir -p /home/jdk # wget http://jdk1.8.0_151 # tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/local/ # tail -3 /etc/profile JAVA_HOME=/usr/local/jdk1.8.0_151 PATH=$PATH:$JAVA_HOME/bin export JAVA_HOME PATH
生效:
# source /etc/profile
检查:
# javac # java -version
6 在window中完成 cmaster cslave1 cslave2的解析
用管理员权限,打开记事本C:\Windows\System32\drivers\etc\hosts
添加如下内容:
192.168.2.75 cmaster
192.168.2.76 cslave1
192.168.2.77 cslave2
二 正式安装
cmaster cslaver1 cslaver2 都做如下操作:
登录hadoop官网:http://hadoop.apache.org/releases.html 下载安装包hadoop-3.0.0.tar.gz
#mkdir -p /home/joe #cd /home/joe #wget hadoop-3.0.0.tar.gz #tar -zxvf /home/joe/hadoop-3.0.0.0.tar.gz
1 解压完成后要修改hadoop的配置文件:
#vi /home/joe/hadoop-3.0.0/etc/hadoop/hadoop-env.sh
在文件中找到export JAVA_HOME 修改为:
export JAVA_HOME=/usr/local/jdk1.8.0_151
2 修改core-site.xml文件:
#vi /home/joe/hadoop-3.0.0/etc/hadoop/core-site.xml
在
3 修改yarn-site.xml文件
#vi /home/joe/hadoop-3.0.0/etc/hadoop/yarn-site.xml
在
4 修改mapred-site.xml.template
将/home/joe/hadoop-3.0.0/etc/hadoop/目录下的mapred-site.xml.template重命名为mapred-site.xml
并用命令
#vi /home/joe/hadoop/etc/hadoop/mapred-site.xml
在
三启动hadoop
1 启动cmaster
#/home/joe/hadoop-3.0.0/sbin/hadoop-daemon.sh start namenode #/home/joe/hadoop-3.0.0/sbin/yarn-daemon.sh start resourcemanager
检查是否启动成功
# jps
1574 ResourceManager
6154 Jps
1451 NameNode
# ps aux |grep hadoop # ss -tnulp 注意观察端口号8088 9870
web端输入:http://cmaster:8088/cluster
http://cmaster:9870/
能够访问即为安装成功
2 启动cslave1 cslave2
#/home//joe/hadoop-3.0.0/sbin/hadoop-daemon.sh start namenode #/home/joe/hadoop-3.0.0/sbin/yarn-daemon.sh start resourcemanager
检查是否访问成功:
#jps
7858 DataNode
7989 NodeManager
8286 Jps
#ps aux |grep hadoop #ss -tnulp
注意观察端口号:8042 9864
在web端输入:http://cslave1:8042
http://cslave2:9864
在web端输入:http://cslave1:8042
http://cslave2:9864
这样,cslave1 cslave2也安装成功
注意在cmaster的web界面中的Active Nodes中
可以看到节点数为2
到此hadoop集群部署成功完成