一、安装准备(完整版带图片的 找 [email protected])
1.IP配置
打开终端输入ifconfig查看网卡配置名字为 ens33 所以为 本机为ifcfg-ens33(各个版本系统的名字不一样)
在ROOT下通过vim /etc/sysconfig/network-scripts/ifcfg-ens33进入界面
再通过 I 进行文件修改
将BOOTROTO 修改为 static (静态获取ip)
再添加网关,子网掩码,和dns解析服务器(有没有都行)和静态ip
在vmware 的查看 网关等具体信息
修改完之后
修改完之后 按Esc 退出编辑模式
最后输入: 再输入wq进行保存退出,
输入service network restart对网络服务重启或者 reboot 进行重启
再次输入vim /etc/sysconfig/network-scripts/ifcfg-ens32可看到IP已改为静态了
2.配置主机名
在终端界面输入vim /etc/sysconfig/network
增加两行
NETWORKING=yes
HOSTNAME=hadoop1(主机名,本机为hadoop1)
修改完之后 按Esc 退出编辑模式修改完之后
最后输入:(冒号) 再输入wq进行保存退出
在终端界面输入 vim /etc/hostname
将里面清空输入自己的主机名(本机为 hadoop1)
3.主机映射
终端输入 vim /etc/hosts
将里面修改为
Ip 与 主机名相对应
剩下两台ip便于记忆都是末位+1
(所以需要静态ip保证ip与主机名映射)
4 关闭防火墙(contos 7)systemctl stop firewalld systemctl disable firewalld
5.为hadoop用户添加sudoers权限(每个节点的用户名必须相同,密码也要相同)
添加sudoers权限
终端输入
添加本机用户(本机为 yzy)
因为是只读文件 退出需要加! 输入 :wq! 保存退出
6.安装jdk
(1) 下载好的JDK包(可以直接从win10桌面拖拽到虚拟机里面
确保文件是完整的 右下方可以看到文件大小与原文件差不多)
放到新创建的hadoop文件夹里
安装之前需要先将自带的open jdk 删除
(2)解压 jdk
需要先在终端里 进入压缩包目录
终端输入 tar -zxvf jdk-8u221-linux-x64.tar.gz(jdk-8u221-linux-x64.tar.gz 为压缩包名字 本机为jdk-8u221-linux-x64.tar.gz)
(3)配置环境变量
进入root下输入 vim /etc/profile
输入指令
export JAVA_HOME=/home/yzy/hadoop/jdk1.8.0_221 (为jdk的路径) (yzy为本机用户不能少 )
export PATH=$JAVA_HOME/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
(4)检查jdk安装成功
终端输入 source /etc/profile
激活环境
然后输入 java -version 进行检查
8.各节点时间同步
1)不能联网的情况下:
手动指定 date –s 时间
2)能联网的情况下:
找一个公网中公用的时间服务器 ntpdate 公网时间服务器地址
ntpdate ntp1.aliyun.com
(本机时间同步不需要进行此步)
二.安装hadoop-2.7.7
1.上传安装包(注意 同jdk安装)
2.解压 tar -zvxf hadoop-2.7.7.tar.gz(先进入路径目录)
解压完成
3.配置环境变量
输入 sudo vi /etc/profile
最后添加
export HADOOP_HOME=/home/yzy/Hadoop/hadoop-2.7.7
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
终端输入 source /etc/profile
激活环境
4.修改文件(6个文件均在同一目录下)
进入 hadoop-2.7.7/etc/hadoop
(1)找到 hadoop-env.sh文件
在最后一行添加 export JAVA_HOME=/home/yzy/hadoop/jdk1.8.0_221
进入 hadoop2.7.7/etc/Hadoop
(2)找到 core-site.xml文件
添加
同一目录 hadoop2.7.7/etc/Hadoop
(3)找到 hdfs-site.xml文件
添加
(4)修改yarn-site.xml文件
修改为
(5)修改mapred-site.xml文件
修改为
(6)修改slaves文件
修改为
hadoop1
hadoop2
hadoop3
~
5.克隆虚拟机
首先将之前的虚拟机进行关机(可先保存快照避免关机损坏问题)
等待克隆完成
需要几个重复几次
本次我的任务要求为3台,只需要克隆两次就好
分别命名为 hadoop1,hadoop2,hadoop3
需要分别进入两个虚拟机 修改ip和主机名
回到上面步骤进行修改 (注意主机名和ip应该与hosts文件中的映射相对应)
6. ssh 免密登录(每台机器都要执行一遍)
(1)先切换到普通用户: 输入su yzy(用户名)
(2)生成秘钥 ssh-keygen
(3)发送秘钥(公钥)
输入 ssh-copy-id hadoop1 (主机名) (这是发送给自己本身)
(hadoop2/hadoop3)
各个节点相互之间都发送公钥(远程登录或者发送 其他虚拟机要同时开启)
远程登录本机
输入 ssh hadoop1
7.进行格式化
(必须在namenode的节点操作)
(不要多次初始化 ,否则 参考 DATANODE没有出现
https://blog.csdn.net/chen_xsi/article/details/82717727 )
本机为hadoop1
输入 hadoopnamenode -format
8.启动
启动集群(三台机器都要开启)
(1)启动hdfs
输入 start-dfs.sh 可以在任意节点执行
用jps命令查看进程
(2)启动yarn (在yarn的主节点执行)
输入 start-yarn.sh
jps查看各节点的进程
9.网页访问
hdfs hadoop01:50070
yarn hadoop01:8088
10.关闭
(1)关闭yarn
stop-yarn.sh
(2)关闭hdfs
stop-dfs.sh