大数据集群之配置虚拟机集群
- 大数据集群之配置虚拟机集群
- 大数据集群指Hadoop集群（HA）
本文章是在window平台上安装四个虚拟机作为学习大数据平台的集群
前提准备
1.安装虚拟机软件VMware，这里提供一个安装教程链接参考
2.获取一个Linux镜像，我这里使用的是CentOS7 64位,提供一个参考链接
安装CentOS
先创建一个文件夹，方便管理集群
点击左上角文件新建虚拟机，选择典型，下一步
选择自己的虚拟机镜像，下一步
全名随便，用户名也是自取，密码最好简单点我这里是a，root用户也是使用这个密码，下一步
虚拟机名，我这里为node1，也建议大家也使用，选择空间够大的安装路径，下一步
这一步默认，20G的磁盘空间够用了，下一步
点击自定义硬件，可调整虚拟机的内存和处理器数目，根据自己电脑配置来配置虚拟机的配置，如果你的电脑内存只有8G那我建议你只给虚拟机分配1G的内存，不然你会因为内存不够无法启动，或者很卡。电脑配置高的同学可以适当提高虚拟机的配置。网络适配器选择NAT，即使用自定的ip地址。点击完成等待安装。
安装完成后是一个图形化界面的系统，我们只需要指令行系统就行，这样还能减少虚拟机内存的使用。 点击左上角的Applications在点击Terminal进入控制台
如果图中没有红框最前面不是以root开头的（如果是则跳过此步），说明你没有使用root账号登陆，可以运行ssh root@localhost 使用root用户登陆，密码为你创建虚拟机时填的密码，我这里是为a
运行以下操作
终端输入init 3 回车进入命令行，且换成命令行模式，使用root账号登陆
systemctl get-default获得当前系统启动模式（mult-user.target 为命令行）
systemctl set-default multi-user.target 将图形改为命令行
reboot #重启
重启后如果为命令行模式则设置成功
如果需要该回去可以运行以下命令
（systemctl set-default graphical.target 将命令行改成图形）
重启后显示以下界面则设置成功（学习中我们一般都是使用root用户进行操作）
配置VMware 网络
这里有老师的详细配置过程给大家参考 网络配置
点击编辑，进入到虚拟网络配置器，点击NAT模式，再点击在右下角的更改设置
再次选择NAT模式，圈出来的地方希望大家保持一致，懂网络配置的同学可以自行修改网络地址，不是很懂的同学照着来就行了。
打开Windows的网络控制中心
修改虚拟机网卡的Ipv4配置
设置虚拟机系统网络
cd /etc/sysconfig/network-scripts/
ls
vi ifcfg-ens32 # 文件名为下图中文件名 按i进入修改模式
修改配置，修改了圈出来的地方，本没有的则添加进去
重启网络服务
service network restart
检查是否配置成功
ifconfig # 查看网络配置
红框中显示为你配置的ip地址，再ping一下百度 ping www.baidu.com 如果成功则说明网络配置成功。
使用其他方式连接虚拟机
到这里虚拟机集群配置算是完成了一半了。
接下来我不再直接在VMware中操作虚拟机了，我们操作Liunx系统一般都是使用其他连接工具远程登陆虚拟机如：xshell，但是原理基本都是用ssh去登陆虚拟机。
Windows10 现在也默认加入了ssh Client 功能（ssh server 也有 但是选哟自行安装），我们可以直接在CMD控制台中输入ssh [email protected] @后面为虚拟机地址，root表示使用root用户登陆，也可以使用Windows的powerShell控制台连接，当然如果你安装了GIT，也可以在Git Bash中进行同样的操作。
接下的操作中我将使用powerShell远程连接虚拟机。
配置基础环境
同步时间
安装 ntp命令: yum install ntp -y
选择一台服务器同步时间： ntpdate -u ntp1.aliyun.com
修改时区：ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
安装jdk
查看是否有自带的jdk，一般系统会自带一个openJdk。
rpm -qa | grep java # 查看Java版本
删除自带的JDK（注意自己的版本）
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.222.b03-1.el7.x86_64
将带openjdk的都删除，删除后 source /etc/profile
安装自己的JDK Liunx版,提供一个下载地址
链接：https://pan.baidu.com/s/1LwjzQr96WktfGXjSm1NI2Q
提取码：ydta
上传至Linux
（powerShell和CMD控制台中使用scp上传失败）
最后使用Git Bash 上传成功，可以使用xftp上传
本地控制 cd 至本地 jdk8-linux.tar.gz 位置运行一下命令
scp jdk8-linux.tar.gz [email protected]:/usr/sofware
切换到虚拟机控制台，运行一下命令
cd /usr/software
tar -zxvf jdk8-linux.tar.gz # 解压
mv jdk1.8.0_65/ jdk1.8
mv jdk1.8 /usr/local/java1.8/
vi /etc/profile
在最下面添加，保存退出，运行 source /etc/profile，测试。
配置hosts文件
hosts文件是系统中的地址映射文件
vi /etc/hosts
文件中添加
说名：每一行的前半段为地址，后面为对该地址的别名，目前我们只配置了第一台node1。 配置好地址映射后，我们就可以ssh root@node1（如果不写root@则默认为当前用户名，因为我们使用的都是root用户，所有以后登陆其他虚拟机直接可以写成 ssh node1， 如果想要在本机电脑使用则需要在自己本机电脑中配置hosts文件）这种形式连接其他虚拟机。其他几台我们稍后就配置。
到这里第一台虚拟机配置成功。
配置剩余3台虚拟机
回到VMware，关闭虚拟机。 为刚刚安装好的虚拟机拍摄快照
点击拍摄快照
关闭此虚拟机，点击管理此虚拟机快照
选择刚刚创建好的虚拟机点击克隆
下一步
下一步
磁盘空间足够的同学建议使用完整克隆，这样在出问题的时候可以减少连带错误。
取名为node2， 最好放置在和node1在同一目录下，便于管理
点击完成等待安装
这样第二台虚拟机创建完成了
修改网络地址
cd /etc/sysconfig/network-scripts/
ls
vi ifcfg-ens32 # 文件名为下图中文件名 按i进入修改模式
只需要将ip地址改成 192.168.36.101 就行了
重启网络服务
service network restart
检查是否配置成功
ifconfig # 查看网络配置
修改主机名
hostname node2
reboot # 重启后查看主机名是否变了
这样第二台虚拟机就配置好了
重复第二的操作从node1创建的快照中克隆出第三台和第四台，唯一要注意的是ip地址和主机名不同，不能照搬node2的。
下一篇就开始安装Hadoop集群