Hadoop集群搭建(一) 三台虚拟机的创建与联网
实验环境
1.centos6.9
2.vmware15
hadoop和jdk连接：https://pan.baidu.com/s/1Ffo4mR7sKU-qdp29AYjB1g
提取码：7sih
一.虚拟系统搭建
环境准备:
这里是已经安装好系统的虚拟机，具体系统安装步骤本篇不做介绍
1.已经装好系统的虚拟机文件夹
2.复制两份然后依次在vmware中打开
3.使用vmware依次加载
三台机器的规划
| IP地址 | 主机名 | |
|---|---|---|
| 第一台机器 | 192.168.52.100 | node01.hadoop.com |
| 第二台机器 | 192.168.52.110 | node02.hadoop.com |
| 第三台机器 | 192.168.52.120 | node03.hadoop.com |
注意，这里的虚拟机采用NAT模式与物理机和外网通讯，且设置网段为192.168.52.0，所以将VMnet8网卡的ip地址设置为相同网段，主机位为1
1.
2.
3.
4.
在vmware中设置NAT方式网络配置参数
1.虚拟网络编辑器设置
2.点击更改设置
3.子网ip和子网掩码按图中标注配置
4.在上图中打开NAT设置将网关设置为192.168.52.2
5.最后按确定即可
三台虚拟机的网络配置
注意事项:Windows系统所有的vmware服务都已经启动,确认好vmware的网关地址是否与上文一致，确认vmnet8的ip地址已经设置完毕
1.mac地址
vim /etc/udev/rules.d/70-persistent-net.rules
2.ip地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0
3.三台机器分别重启
reboot
4.测试互相之间能否ping通，与主机能否ping通，能否访问外网
注意：如果发现不能上外网，请检查本机是否开启网络共享
1.
2.
3.
二.hadoop集群环境准备
三台虚拟机关闭防火墙
service iptables stop
chkconfig iptables off #开机时禁止启动
三台虚拟机关闭selinux
vim /etc/selinux/config
三台机器更改主机名
vim /etc/sysconfig/network
三台机器配置ip地址到主机名的映射
vim /etc/hosts
三台机器重启
reboot
三台机器配置ssh免密登录
1.三台执行该命令生成公钥私钥
ssh-keygen -t rsa
执行完该命令会有提示，直接连按三个回车即可
2.拷贝三台机器公钥到第一台机器
ssh-copy-id node01.hadoop.com
会有两个提示，第一个是询问你是否连接，输入yes，第二个输入该机器的密码即可(密码是第一台机器root用户密码)
3.复制第一台机器的认证到另外两台上(会有上一条命令一样的提示，同样的做法即可)
scp /root/.ssh/authorized_keys node02.hadoop.com:/root/.ssh
scp /root/.ssh/authorized_keys node03.hadoop.com:/root/.ssh
这样三台机器都可以使用ssh互相免密登录，使用exit命令即可退出
三台器时钟同步
1.三台机器均执行以下操作
crontab -e
在生成的任务文件中输入:
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com; #与阿里云时钟服务器同步时间(每分钟执行一次)
然后再最后行模式wq保存即可，随后可以分别在三台机器上使用date命令查看时间是否同步
2.硬件时间与系统时间同步
linux系统有两个时间，一个是硬件时间，就是bios时间，另一个是系统时间，就是kernel即内核时间，
两者没有必须同步的关系，但是当linux系统重启时，系统会读取bios时钟，来确定系统当前时间，所以
我们需要保证系统时间的准确性，我们可以将系统时间写入硬件时间，三台机器执行以下操作
hwclock -w #随后可以使用hwclock -r来测试时间是否一致
安装jdk并配置环境变量
1.查看自带的openjdk并卸载
rpm -qa | grep java
执行上条语句会出现响应的安装包
使用
rpm -e --nodeps 对应的安装包
将其卸载即可
2.安装jdk-8u141-linux-x64.tar.gz并解压
在linux上安装jdk的方法可以参考：
https://blog.csdn.net/qq_44639606/article/details/102991584
这里为了便于管理创建三个目录
mkdir -p /export/softwares #用于存放软件的目录
kdir -p /export/servers #用于存放解压后的软件目录
创建完毕后上传jdk至/export/softwares目录后解压(上传采用在windows下下载linux版本的jdk然后使用FileZila软件上传)
tar -zxvf jdk-8u141-linux-x64.tar.gz -C ../servers/
3.配置环境变量
vim /etc/profile
使其立即生效
source /etc/profile
之后可以通过java与javac来验证环境变量是否配置完成
1.java
2.javac
若出现以上信息则说明配置成功
Hadoop集群搭建(二) hadoop分布式环境搭建