LVS 负载均衡 高可用 DR DR+keepalived 原理与实验
文章目录
- LVS-DR
-
- 可能会出现的问题
- 解决上述ARP问题的方法
- keepalived
-
- keepalived工具概述
- 原理解析
- Keepalievd部署描述
- Keepalievd安装描述
-
- 常见配置
- 常用配置选项
- slave服务器配置
- LCS-DR!来吧!!展示!!!
-
- 实验描述
- 实验目的
- 开始展示！
-
- 配置LVS
- 配置WEB服务器
- 验证实验
- Keepalievd!来吧!!再展示!!!
-
- 开始展示！
-
- 配置两台LVS
- 验证实验
LVS-DR
负载均衡群集工作模式–直接路由（Direct Routing）
简称DR模式，采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络
负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道
LVS-DR数据流向示意图
图是偷来的…我承认
1.Client向目标VIP发出请求， Director（负载均衡器）接收。此时IP包头及数据帧头信息为：
2 .Director根据负载均衡算法选择 Realserver_1，不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer_1的MAC地址，然后在局域网上发送。IP包头及数据帧头信息如下：
3.RealServer_1收到这个帧，解封装后发现目标IP与本机匹配（ RealServer事先绑定了VIP），于是处理这个报文。随后重新封装报文，发送到局域网。此时IP包头及数据帧头信息为：.
4.Client将收到回复报文。 Client认为得到正常的服务，而不会知道是哪一台服务器处理的
注意：如果跨网段，那么报文通过路由器经由 terne返回给用户
可能会出现的问题
在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址
在局域网中具有相同的IP地址，会造成各服务器ARP通信的紊乱
当一个ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上的，它们都会接收到ARP广播
此时只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播
对节点服务器进行处理，使其不响应针对VIP的ARP请求
使用虚接口lo:0承载ⅥP地址
设置内核参数 arp_ignore=1：系统只响应目的IP为本地IP的ARP请求
RealServe返回报文（源IP是VIP）经路由器转发，在重新封装报文时需要先获取路由器的MAC地址
解决上述ARP问题的方法
修改/etc/sysctl.conf文件
对节点服务器进行处理，使其不响应针对VIP的ARP请求
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
keepalived
keepalived工具概述
专为LVS和HA设计的一款健康检查工具
支持故障自动切换（ Failover）
支持节点健康状态检查（ Health Checking）
官方网站http://www.keepalived.org
原理解析
Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能
VRRP，虚拟路由冗余协议，是针对路由器的一种备份解决方案
由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务
每个热备组内同一时刻只有一台主路由器提供服务，其他路由器处于冗余状态
若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务
Keepalievd部署描述
Keepalived可实现多机热备，每个热备组可有多台服务器，最常用的就是双机热备
双机热备的故障切换是由虚拟IP地址的漂移来实现，适用于各种应用服务器
Keepalievd安装描述
在LVS群集环境中应用时，也需用到 lipvsadm管理工具
YUM安装 Keepalived
启用 Keepalived服务
常见配置
Keepalievd配置目录位于/etc/keepalievd/
keepalievd.conf是主配置文件
global_defs{…}区段指定全局参数
vrrp_instance实例名称{…}区段指定VRRP热备参数
注释文字以“！”符号开头
目录samples/,提供了许多配置样例作为参考
常用配置选项
router_id HA_TEST_R1: 本路由器（服务器）的名称
vrrp_instance VI_1：定义VRRP热备实例
state MASTER：热备状态，MASTER表示主服务器
interface ens33：承载VIP地址的物理接口
virtual_router_id 1：虚拟路由器的ID号，每个热备组保持一致
priority 100：优先级，数值越大优先级越高
advert_int 1：通告间隔秒数（心跳频率）
auth_type PASS：认证类型
auth_pass 123456：密码字串
virtual_ipaddress{vip}：指定漂移地址（VIP），可以有多个，多个漂移地址以逗号分隔
slave服务器配置
Keepalived备份服务器的配置与master的配置有三个选项不同
router_id:设为自由名称
state：设为BACKUP
priority：值低于主服务器
其他选项与master相同
LCS-DR!来吧!!展示!!!
实验描述
还是习惯性的用Apache展示吧！
LVS01：192.168.10.20
LVS02：192.168.10.21
WebServer01:192.168.10.30
WebServer02:192.168.10.31
虚拟IP（Vip）：192.168.10.10
实验目的
客户机通过访问lvs调度器漂移IP地址可以成功访问网页
开始展示！
配置LVS
两台LVS都要安装 ipvsadm （我这边装keepalived是为了下面做双机热备）
[root@lvs01 ~]# yum -y install ipvsadm keepalived
[root@lvs02 ~]# yum -y install ipvsadm keepalived
两台LVS更改配置文件，关闭路由转发和重定向
[root@lvs01 ~]# vim /etc/sysctl.conf
##末行插入如下配置
##开启ipv4地址转发
net.ipv4.ip_forward = 1
##关闭ipv4全部重定向
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
##重载配置，使配置生效
[root@lvs01 ~]# sysctl -p
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
两台LVS都创建个服务脚本，放在 init.d 中，方便service进行使用
[root@lvs01 /]# vim /etc/init.d/DR.sh
#!/bin/bash
GW=192.168.10.1
VIP=192.168.10.10 ##虚拟ip
RIP1=192.168.10.30 ##真实web服务器ip
RIP2=192.168.10.31
case "$1" in
start)
/sbin/ipvsadm --save > /etc/sysconfig/ipvsadm ##保存配置
systemctl start ipvsadm ##启动服务
/sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up
##设置ens33:0地址，广播地址，子网掩码，并开启
/sbin/route add -host $VIP dev ens33:0 ##添加路由网段信息
/sbin/ipvsadm -A -t $VIP:80 -s rr ##指定虚拟服务访问入口，指定轮询算法
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g ##指定真实服务器，dr模式
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
echo "ipvsadm starting --------------------[ok]"
;;
stop)
/sbin/ipvsadm -C ##清空缓存
systemctl stop ipvsadm ##关闭服务
ifconfig ens33:0 down ##关闭接口
route del $VIP ##删除路由信息
echo "ipvsamd stoped----------------------[ok]"
;;
status)
if [ ! -e /var/lock/subsys/ipvsadm ];then ##判断文件存在与否决定状态
echo "ipvsadm stoped---------------"
exit 1
else
echo "ipvsamd Runing ---------[ok]"
fi
;;
*)
echo "Usage: $0 {start|stop|status}"
exit 1
esac
exit 0
[root@lvs01 /]# chmod +x /etc/init.d/DR.sh
虚拟机设置，将两台LVS都放在 LAN区段1
因为 shell 中的命令是配置临时 IP 地址，所以在配置文件中再更改一次
[root@lvs01 /]# cd /etc/sysconfig/network-scripts/
[root@lvs01 network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33:0
[root@lvs01 network-scripts]# vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.10.10
NETMASK=255.255.255.0
[root@lvs01 network-scripts]# vim ifcfg-ens33
BOOTPROTO=static
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.10.20 ##LVS02改成192.168.10.21
PREFIX=24
GATEWAY=192.168.10.1
两台都重启服务并启动虚拟网卡还有shell脚本
[root@lvs01 network-scripts]# systemctl restart network
[root@lvs01 network-scripts]# ifup ens33:0
[root@lvs01 network-scripts]# service DR.sh start
ipvsadm starting --------------------[ok]
[root@lvs01 network-scripts]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.10.20 netmask 255.255.255.0 broadcast 192.168.10.255
ens33:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.100.10 netmask 255.255.255.255 broadcast 192.168.100.10
ether 00:0c:29:43:a9:53 txqueuelen 1000 (Ethernet)
[root@lvs01 network-scripts]# systemctl stop firewalld
[root@lvs01 network-scripts]# setenforce 0
配置WEB服务器
两台安装HTTPD
[root@web01 /]# yum -y install httpd
更改web01、02的网络模式为 LAN 区段 1
更改IP，配置lo：0
[root@web01 network-scripts]# cp -p ifcfg-lo ifcfg-lo:0
[root@web01 network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.10.10
NETMASK=255.255.255.0
ONBOOT=yes
[root@web01 network-scripts]# vim ifcfg-ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.10.30 ##web02配置成 192.168.10.31
PREFIX=24
GATEWAY=192.168.10.1
[root@web01 network-scripts]# systemctl restart network
[root@web01 network-scripts]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.10.30 netmask 255.255.255.0 broadcast 192.168.10.255
lo:0: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 192.168.10.10 netmask 255.255.255.0
loop txqueuelen 1000 (Local Loopback)
配置arp抑制脚本
[root@web01 network-scripts]# vim /etc/init.d/apa.sh
VIP=192.168.10.10
case "$1" in
start)
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore '//arp忽略'
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK "
;;
stop)
ifconfig lo:0 down
route del $VIP /dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore '//arp开启'
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stopd"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0
[root@web01 network-scripts]# chmod +x /etc/init.d/apa.sh
给两台 web 服务配置主页面
[root@web01 html]# echo "This is Web01 Server.
" > index.html
[root@web01 html]# ls
index.html
[root@web02 html]# echo "This is Web02 Server.
" > index.html
[root@web02 html]# ls
index.html
打开、重启各服务
[root@web01 html]# ifup lo:0
[root@web01 html]# service apa.sh start
RealServer Start OK
[root@web01 html]# systemctl stop firewalld
[root@web01 html]# setenforce 0
验证实验
访问 浮动 IP，成功访问网页并证实轮询模式开启
Keepalievd!来吧!!再展示!!!
实验环境基于上面的DR部署
开始展示！
配置两台LVS
[root@lvs01 network-scripts]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
[email protected]
[email protected]
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1 ##指向自身环回口IP
smtp_connect_timeout 30
router_id LVS01 ##两台LVS的id 不能相同，另一台配 LVS02
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state MASTER
interface ens33 ##根据自己的网卡设置
virtual_router_id 10 ##两个虚拟号需要相同
priority 100 ##优先级，越大越优先，所以 02 的优先级可以配90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111 ##上面一行和这一行最好不要改，如果改了也要相同
}
virtual_ipaddress {
192.168.10.10
}
}
virtual_server 192.168.10.10 80 {
##改成浮动VIP 端口80 指向http服务
delay_loop 6
lb_algo rr ##轮询
lb_kind DR ##DR模式
persistence_timeout 50
protocol TCP
real_server 192.168.10.30 80 {
##指向 web01 端口80
weight 1 ##向下删除原来大概9行
TCP_CHECK{
添加如下
connect_port 80 ##添加连接端口
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
##删了下面的全部，然后复制上面的 real_server 段
real_server 192.168.10.31 80 {
weight 1
TCP_CHECK{
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
为方便复制 我把 web02 的配置文件放下下面
! Configuration File for keepalived
global_defs {
notification_email {
[email protected]
[email protected]
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS02
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 10
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.10.10
}
}
virtual_server 192.168.10.10 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 192.168.10.30 80 {
weight 1
TCP_CHECK{
添加如下
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.10.31 80 {
weight 1
TCP_CHECK{
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
开启服务
[root@lvs01 network-scripts]# systemctl start keepalived
[root@lvs01 network-scripts]# systemctl restart keepalived
[root@lvs01 network-scripts]# systemctl restart network
验证实验
访问网页
关闭 LVS01
[root@lvs01 network-scripts]# systemctl stop network
再次访问
服务器调度成功，实验完成