在v1虚拟机上安装
1. 复制jdk-8u181-linux-x64.tar.gz 和 hadoop-3.1.1.tar.gz 到虚拟机到虚拟机的/home/hadoop目录上
(此步骤不要进行拖拽操作,容易丢包)
2. 在制定的用户目录下操作
2.1 mkdir software 存放文件压缩包
2.2 mv /home/hadoop/压缩包 /home/hadoop/software
2.3 解压安装 tar -zxvf xxxx.tar.gz
2.4 配置环境变量
vim /etc/profile
在这个文件中增加如下内容
导入环境变量时,注意将$PATH放在最后,可能会出现java 的版本是机器原始的
2.4 运行环境变量 source /etc/profile (这样执行后配置文件生效)
检测Java的安装是否正确 java -version
2.5修改Hadoop 的配置
cd /home/hadoop/software/hadoop-3.1.1/etc/Hadoop 目录下,修改配置文件
2.5.1 修改hadoop-env.sh
2.5.2 修改core-site.xml
2.5.3 修改hdfs-site.xml
dfs.namenode.name.dir
/home/hadoop/install/hadoop-3.1.1/hdfs/name
dfs.datanode.data.dir
/home/hadoop/install/hadoop-3.1.1/hdfs/data
dfs.namenode.secondary.http-address
v1:9001
dfs.webhdfs.enabled
true
dfs.permissions
false
dfs.namenode.handler.count
100
dfs.secondary.http.address
v1:50090
2.5.4 修改mapred-site.xml
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
v1:10020
mapreduce.jobhistory.webapp.address
v1:19888
mapreduce.map.memory.mb
1536
2.5.5 修改yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.auxservices.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.address
v1:8032
yarn.resourcemanager.scheduler.address
v1:8030
yarn.resourcemanager.resource-tracker.address
v1:8031
yarn.resourcemanager.hostname
v1
yarn.resourcemanager.admin.address
v1:8033
yarn.resourcemanager.webapp.address
v1:8088
yarn.nodemanager.resource.memory-mb
2048
2.5.6 修改workers 原来2.x叫slaves
增加你相关的虚拟机 主机名
eg : v2
v3
同样的安装步骤在v2 和v3上安装一次,但切记用户名和密码同v1,v2 与v3虚拟机的配置同v1
3. 启动服务
cd /home/hadoop/install/hadoop-3.1.1
sbin/start-all.sh
jsp 查看服务
4.启动成功后 ,浏览器中输入v1:8088 即可看到hadoop 的主页
// v1:9087