01.三节点集群搭建--VM配置
1.下载CentOS7
1.百度搜索centos–>2.点击centos官网连接–>3.点击DVD ISO–>4.点击http://ap.stykers.moe/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso连接进下载.
2.安装虚拟机管理软件
Mware Workstation 15 Pro 产品文档
Mac安装教程
安装完成虚拟机会在桌面上生成虚拟机快捷方式
3.创建虚拟机
3.1 创建过程
启动虚拟机管理软件,如下图:
如下图,点击文件–>点击新建虚拟机–>默认选择典型(推荐)(T)–>点击下一步
如下图，点击"稍后安装操作系统"–>点击下一步
如下图,选择Linux(L)–>选择CentOS7 64 位–>点击下一步
输入名称：BaseCentos7
点击浏览–>选择虚拟机位置–>H:\Virtual Machines\3nodes–>目录下一次创建BaseCentOS 7(基本的虚拟机，后续的集群节点从此虚拟机上进行克隆而来)，node1，node2，node3用于存储后续分别三个节点的虚拟机磁盘文件。
如下图,修改最大磁盘大小从默认的20G修改为200G（一次性修改的大一些，集群运行的过程中会产生大量文件，默认20G不够用）
如下图，点击完成，来完成虚拟机的创建，稍等两三秒会看到创建的虚拟机
创建的虚拟机如下图：
3.2 修改内存和CPU
如下图，点击内存–>选择内存–>在右侧输入2048调整虚拟机内存为2G
继上一步操作，输入完内存值后，选择CPU，选择处理器数量和内核数量均为2
如下图，点击确认.
如下图，设置为内存和cpu后如下。
VMware虚拟机内存是不是给多少占多少？
VMWare本身不占用什么内存，是配置出来的并处于开启状态的那个具体的虚拟机要占用内存，占用多大内存的是看你分配了多少。如果你临时挂起虚拟机（这可是真实机器没有的好处）或关闭虚拟机，这这些内存会被马上释放。
但是并不是给多少内存就占用多少内存，这和VM的首选项中的内存设置有关
| 调整所有虚拟机内存使其适应预留的主机 RAM | 在此设置下，由于虚拟机完全在 RAM 中运行 |
|---|---|
| 允许交换部分虚拟机内存 | 主机操作系统可以将适度的虚拟机内存容量交换到磁盘。 |
| 允许交换大部分虚拟机内存 | 与允许交换部分虚拟机内存设置相比，选择此设置后，您将能够用更多内存运行更多虚拟机。 |
如果我多台虚拟机内存的总和大于了我的主机能承受的内存这种情况会发生什么？
内存在计算机中的作用很大，电脑中所有运行的程序都需要经过内存来执行，如果执行的程序分配的内存的总量超过了内存大小，就会导致内存消耗殆尽。为了解决这个问题，Windows中运用了虚拟内存技术，即拿出一部分硬盘空间来充当内存使用，而这些数据所占的空间就是虚拟内存。
什么是挂起？
**保存虚拟机的当前状态。**在恢复虚拟机时，在挂起之前运行的应用程序将恢复运行状态，而不更改其内容。
3.3 centos系统安装
选择Centos7的镜像文件
如下图，点击开始此虚拟机
如果出现下图，点击我已完成安装
等待自动倒计时为0后自动开始系统安装…
1.点击安装Tools,2.点击Continue
如下图，点击DATE&TIME
如下图,选择时区，点击Done
如下图，点击INSTALLATION SOURCE
如下图，选择磁盘，点击Done
磁盘选择完成后，Begin installation会变成蓝色可用状态，点击Begin installation继续下一步
如下图，点击设置管理员root用户的密码为root和用户名一样,方便记忆.
等待安装进度完成，至此完美的开始已经成功了一半，耐心等待吧…
如下图安装完成，点击Reboot重新启动.
重启后如下图，显示localhost login :(冒号)后有个不停闪烁的白色短横杠，其中localhost表示当前主机名称,至此虚拟机安装完成.
输入用户名root,输入密码:root,此时只需要输入密码即可，但是界面上不显示,输入完成后回车，登录成功如下图:
[root@localhost ~]# init 0
输入init 0命令回车关闭centos linux系统
3.4 创建快照
对刚安装好的虚拟机做快照，以防止软件安装过程中出错可以使用快照还原到系统刚安装好的状态。后期操作的关键步骤建议大家创建快照
4.环境配置
4.1 停止防火墙
登录系统
#停止防火墙
[root@localhost ~]#systemctl stop firewalld
#禁止防火墙随着系统启动而启动
[root@localhost ~]#systemctl disable firewalld
#查看防火墙状态
[root@localhost ~]#systemctl status firewalld
防火墙操作如下图：
防火墙有什么用？
防火墙是一种位于内部网络与外部网络之间的安全防护系统。其会依照特定的规则，允许或限制传输的数据通过，来确保内部网络不遭受恶意攻击。
防火墙可以有硬件、固件或者软件等多种形态，不过在网络架构层面上，多泛指专属的硬件防护设备。
软件防火墙即是安装在电脑操作系统内的防护程序，如Windows自带的防火墙。
而硬件防火墙则指的是采用状态检测机制、集成VPN、支持桥/路由/NAT等工作模式的作用在2-4层的访问控制设备。
为什么要关停防火墙？
会限制我们的一些数据传输，在大数据环境下先关了它避免有奇奇怪怪的事发生。
4.2 禁用selinux
#将SELINUX的值设置为disabled
[root@localhost ~]# vi/etc/selinux/config
#查看是否设置完成
[root@localhost ~]# cat /etc/selinux/config
seLinux是什么？
seLinux是什么
**安全增强型 Linux（Security-Enhanced Linux）**简称 SELinux，它是一个 Linux 内核模块，也是 Linux 的一个安全子系统。
SELinux 主要由美国国家安全局开发。2.6 及以上版本的 Linux 内核都已经集成了 SELinux 模块。
SELinux 的结构及配置非常复杂，而且有大量概念性的东西，要学精难度较大。很多 Linux 系统管理员嫌麻烦都把 SELinux 关闭了。
为什么关闭seLinux？
和windows的安全模式一样，会有一些禁止访问的权限控制。
5.配置虚拟机网络
5.1 设置虚拟网络和子网
打开虚拟网络编辑器
如下图选择VMnet8，点击更改设置，点击是
点击NAT设置,输入网关IP192.168.200.2(此ip地址必须是192.168.200.2，不能是192.168.200.1这个ip有特殊用途,知道即可)，点击确定
在此点击确定，完成虚拟网络的配置.
虚拟机3种网络模式(桥接、nat、Host-only)
实例讲解虚拟机3种网络模式
VM官网对3种网络模式的解释
虚拟网络交换机
与物理交换机相似，虚拟交换机也能将网络连接组件连接在一起。虚拟交换机又称为虚拟网络，其名称为 VMnet0、VMnet1、VMnet2，以此类推。有少量虚拟交换机会默认映射到特定网络。
| 网络类型 | 交换机名称 |
|---|---|
| 桥接模式 | VMnet0 |
| NAT | VMnet8 |
| 仅主机模式 | VMnet1 |
桥接
VM官网–桥接
桥接模式网络连接通过VMnet0虚拟网络交换机，使用主机系统上的网络适配器将虚拟机连接到网络。 物理网卡和虚拟网卡就相当于处于同一个网段，虚拟交换机就相当于一台现实网络中的交换机，所以两个网卡的IP地址也要设置为同一网段。
什么时候用桥接？
当我们要在局域网使用虚拟机，对局域网其他pc提供服务时，例如提供ftp，提供ssh，提供http服务，那么就要选择桥接模式。
如果主机系统位于网络中，桥接模式网络连接通常是虚拟机访问该网络的最简单途径。
NAT
VM官网-NAT
NAT模式中，就是让虚拟机借助**NAT(网络地址转换)**功能，通过宿主机器所在的网络来访问公网。
NAT模式中，虚拟机的网卡和物理网卡的网络，不在同一个网络，虚拟机的网卡，是在vmware提供的一个虚拟网络。 使用 NAT 模式网络时，虚拟机在外部网络中不必具有自己的 IP 地址。主机系统上会建立单独的专用网络。在默认配置中，虚拟机会在此专用网络中通过 DHCP 服务器获取地址。
NAT和桥接的比较
(1) NAT模式和桥接模式虚拟机都可以上外网。
(2) 由于NAT的网络在vmware提供的一个虚拟网络里，所以局域网其他主机是无法访问虚拟机的，而宿主机可以访问虚拟机，虚拟机可以访问局域网的所有主机，因为真实的局域网相对于NAT的虚拟网络，就是NAT的虚拟网络的外网
(3) 桥接模式下，多个虚拟机之间可以互相访问；NAT模式下，多个虚拟机之间也可以相互访问。
什么时候用NAT？
如果你建一个虚拟机，只是给自己用，不需要给局域网其他人用，那么可以选择NAT，毕竟NAT模式下的虚拟系统的TCP/IP配置信息是由VMnet8(NAT)虚拟网络的DHCP服务器提供的，只要虚拟机的网路配置是DHCP，那么你不需要进行任何其他的配置，只需要宿主机器能访问互联网即可，就可以让虚拟机联网了。
Host-Only
在Host-Only模式下，虚拟网络是一个全封闭的网络，它唯一能够访问的就是主机。主机和虚拟机之间的通信是通过VMware Network Adepter VMnet1虚拟网卡来实现的。
Host-Only和NAT区别？
其实Host-Only网络和NAT网络很相似。不同的地方就是Host-Only网络没有NAT服务，所以虚拟网络不能连接到Internet
什么时候用Host-Only？
Host-Only的宗旨就是 建立一个与外界隔绝的内部网络，来提高内网的安全性。
这个功能或许对普通用户来说没有多大意义，但大型服务商会常常利用这个功能。如果你想为VMnet1网段提供路由功能，那就需要使用RRAS，而不能使用XP或2000的ICS，因为ICS会把内网的IP地址改为192.168.0.1，但虚拟机是不会给VMnet1虚拟网卡分配这个地址的，那么主机和虚拟机之间就不能通信了。
5.2 设置虚拟机网路
BaseCentos–>右键选择设置打开虚拟机设置
选择网络适配器–>选择自定义(U):特定虚拟网络–>确定,完成虚拟机网络设置.
5.3 配置虚拟机IP
[root@localhost ~]#vi /etc/sysconfig/network-scripts/ifcfg-ens33
在文件ifcfg-ens33的末尾新增，如下内容:
IPADDR=192.168.200.10
NETMASK=255.255.255.0
GATEWAY=192.168.200.2 #和在配置虚拟网路中的网关保持一致
DNS1=8.8.8.8
DNS2=144.144.144.144
配置完成后保存文件
#重新启动网卡
[root@localhost ~]#systemctl restart network
#ping 百度的官网保证虚拟机能够访问外网，方便后期在线安装一些依赖软件
[root@localhost ~]#ping www.baidu.com
6.安装xshell工具
使用这个工具可以很方便的操作linux，比如连接linux的命令行，通过xftp文件文件传输工具可以向linux中上传文件.一般我们已经给同学提供了如下的xhsell安装程序包.
6.1 xshell安装
如上图，双击Xshell4.exe进行安装
如果出现以下提示点击是，这是win8，win10等操作系统为了安全提供的一种提示机制。
开始安装
如下图点击next
如下图选择，点击next
如下图选择，点击next
如下图选择，点击next
如下图选择，点击next
如下图点击Install
点击Finsh完成安装.
6.2 xftp安装
如下图，双击Xftp4.exe进行安装
同样的如果出现下图，点击是
开始安装
如下图，点击next
如下图选择，点击next
如下图选择，点击next
如下图选择，点击next
如下图选择，点击next
如下图选择，点击next
6.3 xshell和xftp的使用
安装完xshell和xftp后再桌面上生成xshell和xftp的快捷方式.
双击Xshell4快捷键运行xshell
如下图，点击打开
按钮打开会话窗口（第二步），在会话窗口中点击新建–>打开新建会话窗口新建会话.
如下图，输入名称basecentos（为每个虚拟机的连接起相应的名字）和将要连接的虚拟机ip
如下图，点击用户身份验证，输入用户名(root)和密码(root),点击确定
确定后创建出如下的会话连接(basecentos),点击连接
如下图，第一次连接虚拟机时xshell需要保存连接用户的用户名和密码，下次登录时就可以不要在输入,方便后期登录。
如下图，我们已经成功登录到basecentos这个虚拟机的linux系统中.
至此我们已经完成了使用xshell连接linux，我们会发现字体太小，看着不舒服，接下来我们调整下字体,如下图:
如下图，点击外观，在右侧选择16号字体,点击确定,完成设置.
7.上传jdk
将已经下载好的jdk上传到我们已经安装好的linux系统中,默认我们使用root用户安装jdk。
这时我们就需要使用xftp上传jdk安装包
如下图，点击xftp按钮，打开xftp工具
xftp窗口如下:
在左侧选择linux环境下的jdk安装包,鼠标按住左键直接拖到右侧后放开鼠标，可以看到下面的上传进度.
如下图，上传完成.
上传完成后我们就可以关闭xftp窗口,回到xshell命令窗口。
在xshell命令窗口中输入ll命令然后回车,如下图，可以看到刚才上传的jdk安装文件.
8.安装JDK
至此我们已经通过xftp工具将jdk的安装包上传到linux的root用户工作目录下，接下来我们进行安装.
8.1 安装jdk
[root@localhost ~]# rpm -ivh jdk-8u211-linux-x64.rpm
如下图，显示jdk的安装过程
如下图，jdk安装完成
8.2 配置java环境变量
01.查找到jdk的安装目录
#首先使用find命令找到java的安装目录
[root@localhost ~]# find / -name java
/etc/alternatives/java
/etc/pki/ca-trust/extracted/java
/etc/pki/java
/var/lib/alternatives/java
/usr/bin/java
/usr/java
#java(jdk)的安装目录
/usr/java/jdk1.8.0_211-amd64/bin/java
/usr/java/jdk1.8.0_211-amd64/jre/bin/java
[root@localhost ~]#
02.配置环境变量
使用vi命令修改root家目录下的.bash_profile文件
[root@localhost ~]# vi .bash_profile
# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
#java环境变量
JAVA_HOME=/usr/java/jdk1.8.0_211-amd64
#java环境变量加入到path中
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export JAVA_HOME
export PATH
~
#先按下键盘左上角的esc建 ，然后按住shift输入:(冒号),在输入wq!(强制保存)
:wq!
#使用source命令使配置的环境变量生效
[root@localhost ~]# source .bash_profile
#使用java -version命令查看java环境变量配置是否成功
[root@localhost ~]# java -version
#显示java version "1.8.0_211" 表示java环境变量(JAVA_HOME)已经配置成功.
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)
[root@localhost ~]#
9.配置时间同步
后期搭建大数据集群内时需要个个节点之间的时间保持一样，所以我们搭建集群时需要进行节点和时间中心的时间同步。
9.1 安装时间同步软件
使用命令:yum install -y ntpdate 安装时间同步软件（yum是个linux下的一个在线软件安装工具）
[root@localhost ~]# yum install -y ntpdate
Loaded plugins: fastestmirror
Determining fastest mirrors
* base: mirrors.tuna.tsinghua.edu.cn
* extras: mirrors.tuna.tsinghua.edu.cn
* updates: mirrors.tuna.tsinghua.edu.cn
base | 3.6 kB 00:00:00
extras | 3.4 kB 00:00:00
.
.
.
Complete!
9.2 配置定时时间同步
#使用crontab -e命令添加定时时间同步配置
[root@localhost ~]# crontab -e
#执行crontab -e命令后，按键盘上的字母i进入编辑模式,输入一下内容，然后按一下键盘左上角的esc进行命令模式，按主shift输入:(冒号),在输入wq!回车完成保存.
#以下配置的意思是每分钟同步一次时间
*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;
~
:wq!
#等待一分钟左右使用date命令查看系统时间是否同步
[root@localhost ~]# date
Sun Jun 30 10:51:17 CST 2019
[root@localhost ~]#
10.安装网络工具net-tools
net-tools是linux系统下的一个网络故障排查工具,工作中我们经常使用它查看集群网络运行情况,在这里大家先简单安装即可，学习过程中老师断断续续会给大家讲解到.
[root@localhost ~]# yum install -y net-tools
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: mirrors.tuna.tsinghua.edu.cn
* extras: mirrors.tuna.tsinghua.edu.cn
* updates: mirrors.tuna.tsinghua.edu.cn
Resolving Dependencies
--> Running transaction check
---> Package net-tools.x86_64 0:2.0-0.24.20131004git.el7 will be installed
--> Finished Dependency Resolution
Dependencies Resolved
================================================================================================
Package Arch Version Repository Size
================================================================================================
Installing:
net-tools x86_64 2.0-0.24.20131004git.el7 base 306 k
Transaction Summary
================================================================================================
Install 1 Package
Total download size: 306 k
Installed size: 918 k
Downloading packages:
net-tools-2.0-0.24.20131004git.el7.x86_64.rpm | 306 kB 00:00:00
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
Installing : net-tools-2.0-0.24.20131004git.el7.x86_64 1/1
Verifying : net-tools-2.0-0.24.20131004git.el7.x86_64 1/1
Installed:
net-tools.x86_64 0:2.0-0.24.20131004git.el7
Complete!
[root@localhost ~]#
11.克隆虚拟机
为了保证我们所有机器环境的配置是一致的，我们需要克隆虚拟机，同时我们只需要在一台虚拟机上安装好linux操作系统，克隆后的机器上也安装好了linux系统，这样节省了我们重复安装linux系统的时间,同时减少了我们多台主机系统之间配置不一致的错误.
至此我们需要搭建三台机器的集群，就需要三台机器。我们通过一台机器克隆出三台来。
11.1.关闭当前运行的虚拟机
克隆虚拟机时需要关闭当前运行的虚拟机.
[root@localhost ~]# init 0 #输入init 0 完成后回车
11.2 克隆虚拟机
切换到我们的虚拟机管理软件VMware Workstation主界面，按照以下步骤继续一路猛操作.
1.如下图，在BaseCentos7
如下图，点击下一步
如下图，点击下一步
如下图，点击下一步
如下图，输入虚拟机名称，选择好第一台虚拟机存放路径C:\myprogram\3nodesvm\node1(如果路径不存在请安装这样的路径层级进行自行创建)
如下图，点击关闭，完成克隆
完成虚拟机的克隆操作,我们使用以上同样的方法再克隆出来两台虚拟机node2和node3，操作完成后如下图，我们可以发现三台虚拟机已经完全创建好.
