六阶段大数据--day01--hadoop集群环境准备

1 集群环境准备

  1. 解压CentOS7-bigdata.zip虚拟机,复制成三个虚拟机名为: hadoop01 ,hadoop02,hadoop03文件夹;
  2. 通过vmware打开这三个虚拟机--bigdata.vmx   ,重命名为 hadoop01 ,hadoop02,hadoop03
  3. 对虚拟机进行设备设置:如下图所示

六阶段大数据--day01--hadoop集群环境准备_第1张图片

 4. 设置虚拟机网络

六阶段大数据--day01--hadoop集群环境准备_第2张图片

 5. 分别启动三台虚拟机

六阶段大数据--day01--hadoop集群环境准备_第3张图片

 6.登录虚拟机:用户名密码都是root , ip addr命令查看设置的ip,也就是你的网关ip是不是上面设置的

六阶段大数据--day01--hadoop集群环境准备_第4张图片

 7. 配置文件

cd /etc/sysconfig/network-scripts   #进入网络配置目录(虚拟网卡目录)

ll                                  #查看有没有ifcfg-ens33
 
dir ifcfg*                         #找到网卡配置文件
 
ifcfg-ens33                         #找到版本最新的文件并修改
 
vim ifcfg-ens33
 
或者
 
vim /etc/sysconfig/network-scripts/ifcfg-ens33

六阶段大数据--day01--hadoop集群环境准备_第5张图片

vim ifcfg-ens33 命令,修改网关ip,esc按钮,:wq保存退出

六阶段大数据--day01--hadoop集群环境准备_第6张图片

 8.重启网络(二选一即可)

service network restart   #重启网络
 
systemctl restart network.service   #重启网络centos7

六阶段大数据--day01--hadoop集群环境准备_第7张图片

 六阶段大数据--day01--hadoop集群环境准备_第8张图片

 9.hadoop02和03的网络设置也同样操作

六阶段大数据--day01--hadoop集群环境准备_第9张图片

 六阶段大数据--day01--hadoop集群环境准备_第10张图片

  •  重启网络后,分别ping www.baidu.com  连接成功代表设置没问题

10.mobaxTerm连接三台虚拟机

六阶段大数据--day01--hadoop集群环境准备_第11张图片

 六阶段大数据--day01--hadoop集群环境准备_第12张图片 

 11.关闭三个虚拟机的防火墙

systemctl stop firewalld.service        #关闭防火墙服务
 
systemctl disable firewalld.service     #禁止防火墙开启启动
 
 
systemctl restart firewalld.service      #重启防火墙使配置生效

systemctl enable firewalld.service       #设置防火墙开机启动

[root@hadoop01 ~]# firewall-cmd --state		#检查防火墙状态
false		

六阶段大数据--day01--hadoop集群环境准备_第13张图片

  • 点击右上角的exit 退出即可

12. 修改主机名

vi /etc/hostname    #分别修改三台主机名为hadoop01  hadoop02  hadoop03

13. 修改hosts文件

六阶段大数据--day01--hadoop集群环境准备_第14张图片

 六阶段大数据--day01--hadoop集群环境准备_第15张图片

 14.reboot 命令重启三个节点服务,重新登录并连接,测试ping命令是否成功

六阶段大数据--day01--hadoop集群环境准备_第16张图片

二 设置免密登录

原因:

六阶段大数据--day01--hadoop集群环境准备_第17张图片

 1.生成三台机器的公钥与私钥--使用MultiExec按钮多节点同时操作

ssh-keygen   #三个服务器都要执行此命令

六阶段大数据--day01--hadoop集群环境准备_第18张图片

六阶段大数据--day01--hadoop集群环境准备_第19张图片

  •  每个节点服务器都会生产一下两个数据,pub后缀文件内容就是生成的公钥

六阶段大数据--day01--hadoop集群环境准备_第20张图片

六阶段大数据--day01--hadoop集群环境准备_第21张图片

 2.拷贝公钥到同一台机器,三台机器都执行下面命令:

ssh-copy-id hadoop01

六阶段大数据--day01--hadoop集群环境准备_第22张图片

六阶段大数据--day01--hadoop集群环境准备_第23张图片

  •  回到hadoop01节点服务器查看生成的认证文件

六阶段大数据--day01--hadoop集群环境准备_第24张图片

 3.复制第一台机器的认证到其他机器

scp /root/.ssh/authorized_keys hadoop02:/root/.ssh  #第一台服务器的认证复制到第二台上
scp /root/.ssh/authorized_keys hadoop03:/root/.ssh   #第一台服务器的认证复制到第三台上

六阶段大数据--day01--hadoop集群环境准备_第25张图片

4.配置完认证后,测试免密登录

六阶段大数据--day01--hadoop集群环境准备_第26张图片

三  3台机器时钟同步

1. 不同节点服务器进行时钟同步时,一方面会报错,同步失败,另一方面同步时间会有细微的时差

  • 阿里云时钟同步服务器
ntpdate ntp4.aliyun.com

六阶段大数据--day01--hadoop集群环境准备_第27张图片

  •  三台机器定时任务,操作系统自动完成时间同步
crontab  -e     

*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;  #上一命令进入后输入此内容,保存并推出:wq

六阶段大数据--day01--hadoop集群环境准备_第28张图片

 六阶段大数据--day01--hadoop集群环境准备_第29张图片

  • 拓展:Linux系统 crontab 时间设置的解释: 六阶段大数据--day01--hadoop集群环境准备_第30张图片

四  3台机器安装jdk

1.查看自带的openjdk

rpm -qa | grep java
  • 如果有,请卸载系统自带的openjdk,方式如下(注:目前系统已经卸载)
rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 --nodeps

2. 三台机器创建目录

  • 所有软件的安装路径
mkdir -p /opt/servers
  • 所有软件压缩包的存放路径,进行统一管理
mkdir -p /opt/softwares

六阶段大数据--day01--hadoop集群环境准备_第31张图片

 3.上传jdk到/opt/softwares路径下去,并解压

六阶段大数据--day01--hadoop集群环境准备_第32张图片

 tar -xvzf jdk-8u65-linux-x64.tar.gz -C /opt/servers/
  • 解压后查看

 4. 配置环境变量

vim /etc/profile   #进入该文件目录,配置环境变量

#环境变量内容如下2行,直接粘贴到上面文件的最下方
export JAVA_HOME=/opt/servers/jdk1.8.0_65
export PATH=:$JAVA_HOME/bin:$PATH

# 是配置的环境变量生效
source /etc/profile

六阶段大数据--day01--hadoop集群环境准备_第33张图片

六阶段大数据--day01--hadoop集群环境准备_第34张图片

 

  •  测试jdk是否生效,查看jdk的版本

六阶段大数据--day01--hadoop集群环境准备_第35张图片

 5. 上面只是单独在hadoop01操作,现在要发送(拷贝)jdk文件到hadoop02和hadoop03

scp -r /opt/servers/jdk1.8.0_65/ hadoop02:/opt/servers/
scp -r /opt/servers/jdk1.8.0_65/ hadoop03:/opt/servers/

六阶段大数据--day01--hadoop集群环境准备_第36张图片

六阶段大数据--day01--hadoop集群环境准备_第37张图片

  • 03同样操作,并使用source /etc/profile  命令使其生效

六阶段大数据--day01--hadoop集群环境准备_第38张图片

 6.复制后,同样都要配置环境变量,source使其生效,查看jdk版本看是否生效

六阶段大数据--day01--hadoop集群环境准备_第39张图片

六阶段大数据--day01--hadoop集群环境准备_第40张图片

 六阶段大数据--day01--hadoop集群环境准备_第41张图片

五  修改windows中的hosts文件

  •  在windows中的hosts文件里添加如下映射,ip虚拟机和主机的ip的映射,实现windows可以通过主机名(或域名)访问虚拟主机。

六阶段大数据--day01--hadoop集群环境准备_第42张图片

六阶段大数据--day01--hadoop集群环境准备_第43张图片

六阶段大数据--day01--hadoop集群环境准备_第44张图片

你可能感兴趣的:(hadoop,big,data,hdfs)