Linux高级运维（七）－Lvs调度器与高可用集群服务搭建

1集群:多套服务器,看似一台 ,提供一种服务
2优点:性能.成本扩展,可靠,避免单点故障

3集群核心:任务调度
4分类:高性能计算(hpc)
负载均衡(lb)　　　
高可用(ha)　　　－－高可用
5 LVS: 虚拟服务器
Ipvsadmin (工具)
LVS集群:前端: 负载均衡层 -nginx
中: 服务器群组层 --server
底: 数据共享存储层 --nfs
数据统一

6专业术语:director server 　调度服务器
Real server　　真实服务器
VIP --web1 web2 　－－公布给用户访问的ＩＰ地址
RIP 　　　　　　　真实ＩＰ地址
DIP --调度器 dispatch proxy(vip --用户) (dip —后台节点服务器)
CIP:客户端

1，virtual-service-address:是指虚拟服务器的ip地址
2，real-service-address:是指真实服务器的ip地址
3，scheduler：调度方法

ipvsadm的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p [timeout]] [-M netmask]
ipvsadm -D -t|u|f virtual-service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [–mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h

-g --gatewaying 指定LVS的工作模式为直接路由模式（也是LVS默认的模式）

-i --ipip 指定LVS的工作模式为隧道模式

-m --masquerading 指定LVS的工作模式为NAT模式

-w --weight weight 真实服务器的权值

ipvsadm -A -t 207.175.44.110:80 -s rr
ipvsadm -a -t 207.175.44.110:80 -r 192.168.10.1:80 -m

7 LVS原理: 路由转发对客户端提供 + 调度 --(媒婆)
NGINX: 我帮你上网 --web1 (相亲女孩闺蜜 --ip_ forword)
路由器:　路由转发
Nat模式：
　
对客户端提供

工作模式：client —lvs(转发) —web(4.10上网)
1 lvs 主机　　ip_forword=1
2 web 主机必须配网关

Setip : 配网络IP和网关
(配置基础环境)
route -n --查看网关
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.2.5 0.0.0.0 UG 104 0 0 eth1
192.168.2.0 0.0.0.0 255.255.255.0 U 104 0 0 eth1

---

1)设置web(1.2)服务器
Yum httpd
Echo
2)启动服务器软件
Systemtl 　－httpd
3)防火墙|和selinux
(lvs -nat 模式调度器)
1)确认调度器的路由转发功能(如果已经开启，可以忽略)
[root@proxy ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
[root@proxy ~]# cat /proc/sys/net/ipv4/ip_forward
[root@proxy ~]# echo “net.ipv4.ip_forward = 1” >> /etc/sysctl.conf
#修改配置文件，设置永久规则

2）创建集群服务器
[root@proxy ~]# yum -y install ipvsadm
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
3）添加真实服务器
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -w 1 -m
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -w 1 -m
4）查看规则列表，并保存规则
[root@proxy ~]# ipvsadm -Ln
[root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm
步骤三：客户端测试
客户端使用curl命令反复连接http://192.168.4.5，查看访问的页面是否会轮询到不同的后端真实服务器。

LVS原理: 路由转发 + 调度 --(媒婆)
NGINX: 我帮你上网 --web1 (相亲女孩闺蜜 --ip_ forword)
路由器:　路由转发
三种模式：NAT（网络地址转换） TUN（隧道） DR（直连路由）

调度算法：　
　 轮询（round robin）–rr
加权轮询(weight round robin)　--wrr
最少链接　（least connection ）　　－－lc　
加权最少连接 --wlc
原地址哈希（source hash ） --sh --(ip_ hash) 原客户端访问原地址
　　　　目标地址哈希　　　　－－dh

LVS- DR模式

客户端IP地址为192.168.4.10
LVS调度器VIP(辅助IP)地址为192.168.4.15
LVS调度器DIP地址设置为192.168.4.5 (–默认IP 主IP)
真实Web服务器地址分别为192.168.4.100、192.168.4.200 自己+伪装IP
使用加权轮询调度算法，web1的权重为1，web2的权重为2

CIP是客户端的IP地址；
VIP是对客户端提供服务的IP地址；
RIP是后端服务器的真实IP地址；
DIP是调度器与后端服务器通信的IP地址（VIP必须配置在虚拟接口）。

步骤一：配置实验网络环境

1）设置Proxy代理服务器的VIP和DIP

注意：为了防止冲突，VIP必须要配置在网卡的虚拟接口！！！

[root@proxy ~]# cd /etc/sysconfig/network-scripts/
[root@proxy ~]# cp ifcfg-eth0{,:0}
[root@proxy ~]# vim ifcfg-eth0
TYPE=Ethernet --类型
BOOTPROTO=none
NAME=eth0:0
DEVICE=eth0:0
ONBOOT=yes
IPADDR=192.168.4.15
PREFIX=24 　　　－－－prefix 前缀
Systemctl stop NetworkManager
Systemctl restart network

2)设置web1–web2 ip --setip

         4.100  \4.200    

配置vip(web1)
Cd /etc/sysconfig/network-scricpts
Ls
Cp ifcfg-lo ifcfg-lo:0
Vim /ifcfg-lo:0
NAME=lo:0
DEVICE=lo:0
IPADDR=192.168.4.15
NETMASK=255.255.255.255　　　　　－－netmask : 子网掩码３２
NETWORK=192.168.4.15　
BROADCAST=192.168.4.15 --broadcast 广播　＼网络风暴
ONBOOT=yes

防止地址冲突的问题：
这里因为web1也配置与代理一样的VIP地址，默认肯定会出现地址冲突；
sysctl.conf文件写入这下面四行的主要目的就是访问192.168.4.15的数据包，只有调度器会响应，其他主机都不做任何响应，这样防止地址冲突的问题。

[root@web1 ~]# vim /etc/sysctl.conf
#手动写入如下4行内容
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1 不听
net.ipv4.conf.lo.arp_announce = 2 -不说 0: 全说 1: 不一定 2 :不说
net.ipv4.conf.all.arp_announce = 2
#当有arp广播问谁是192.168.4.15时，本机忽略该ARP广播，不做任何回应
#本机不要向外宣告自己的lo回环地址是192.168.4.15
[root@web1 ~]# systemctl restart network

二配置后端Web服务器

1）自定义Web页面
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# echo “192.168.4.100” > /var/www/html/index.html
[root@web2 ~]# yum -y install httpd
[root@web2 ~]# echo “192.168.4.200” > /var/www/html/index.html
2）启动Web服务器软件
[root@web1 ~]# systemctl restart httpd
[root@web2 ~]# systemctl restart httpd

proxy调度器安装软件并部署LVS-DR模式调度器

1）安装软件（如果已经安装，此步骤可以忽略）
[root@proxy ~]# yum -y install ipvsadm
2）清理之前实验的规则，创建新的集群服务器规则
[root@proxy ~]# ipvsadm -C #清空所有规则
[root@proxy ~]# ipvsadm -A -t 192.168.4.15:80 -s wrr
3）添加真实服务器(-g参数设置LVS工作模式为DR模式，-w设置权重)
[root@proxy ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.100 -g -w 1
[root@proxy ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.200 -g -w 1
4）查看规则列表，并保存规则
[root@proxy ~]# ipvsadm -Ln
TCP 192.168.4.15:80 wrr
-> 192.168.4.100:80 Route 1 0 0
-> 192.168.4.200:80 Route 2 0 0
[root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm

客户端测试

客户端使用curl命令反复连接http://192.168.4.15，查看访问的页面是否会轮询到不同的后端真实服务器。
扩展知识：默认LVS不带健康检查功能，需要自己手动编写动态检测脚本，实现该功能：(参考脚本如下，仅供参考)
[root@proxy ~]# vim check.sh
#!/bin/bash
VIP=192.168.4.15:80
RIP1=192.168.4.100
RIP2=192.168.4.200
while :
do
for IP in $RIP1 $RIP2docurl-shttp://$IP &>/dev/vnull
if [ $? -eq 0 ];then
ipvsadm -Ln |grep -q $IP || ipvsadm -a -t $VIP -r $IP
else
ipvsadm -Ln |grep -q $IP && ipvsadm -d -t $VIP -r $IP
fi
done
sleep 1
done

Lvs nginx haproxy
Lvs : 内核(效率高)(工作在4 层传输层)
不带健康检查 --失败一半
功能简单(转发) --无正则

Lvs > haproxy > nginx 性能 --越简单
Nginx > haproxy > lvs 功能

高性能计算(High Performance Computing)机群，简称HPC机群。构建高性能计算系统的主要目的就是提高运算速度，要达到每秒万亿次级的计算速度，对系统的处理器、内存带宽、运算方式、系统I/O、存储等方面的要求都十分高，这其中的每一个环节都将直接影响到系统的运算速度。这
HPC
类机群主要解决大规模科学问题的计算和海量数据的处理，如科学研究、气象预报、计算模拟、军事研究、CFD/CAE、生物制药、基因测序、图像处理等等。

NAT（Network Address Translation，网络地址转换）是1994年提出的。当在专用网内部的一些主机本来已经分配到了本地IP地址（即仅在本专用网内使用的专用地址），但现在又想和因特网上的主机通信（并不需要加密）时，可使用NAT方法。
这种方法需要在专用网连接到因特网的路由器上安装NAT软件。装有NAT软件的路由器叫做NAT路由器，它至少有一个有效的外部全球IP地址。这样，所有使用本地地址的主机在和外界通信时，都要在NAT路由器上将其本地地址转换成全球IP地址，才能和因特网连接。
另外，这种通过使用少量的公有IP 地址代表较多的私有IP 地址的方式，将有助于减缓可用的IP地址空间的枯竭。
NAT不仅能解决IP地址不足的问题，而且还能够有效地避免来自网络外部的攻击，隐藏并保护网络内部的计算机。
1.宽带分享：这是 NAT 主机的最大功能。
2.安全防护：NAT 之内的 PC 联机到 Internet 上面时，他所显示的 IP 是 NAT 主机的公共 IP，所以 Client 端的 PC 当然就具有一定程度的安全了，外界在进行 portscan（端口扫描） 的时候，就侦测不到源Client 端的 PC 。
NAT的实现方式有三种，即静态转换Static Nat、动态转换Dynamic Nat和端口多路复用OverLoad。
1 静态转换是指将内部网络的私有IP地址转换为公有IP地址，IP地址对是一对一的，是一成不变的，某个私有IP地址只转换为某个公有IP地址。借助于静态转换，可以实现外部网络对内部网络中某些特定设备（如服务器）的访问。
2 动态转换是指将内部网络的私有IP地址转换为公用IP地址时，IP地址是不确定的，是随机的，所有被授权访问上Internet的私有IP地址可随机转换为任何指定的合法IP地址。也就是说，只要指定哪些内部地址可以进行转换，以及用哪些合法地址作为外部地址时，就可以进行动态转换。动态转换可以使用多个合法外部地址集。当ISP提供的合法IP地址略少于网络内部的计算机数量时。可以采用动态转换的方式。
3 端口多路复用（Port address Translation,PAT)是指改变外出数据包的源端口并进行端口转换，即端口地址转换（PAT，Port Address Translation).采用端口多路复用方式。内部网络的所有主机均可共享一个合法外部IP地址实现对Internet的访问，从而可以最大限度地节约IP地址资源。同时，又可隐藏网络内部的所有主机，有效避免来自internet的攻击。因此，目前网络中应用最多的就是端口多路复用方式。