1、简述lvs四种集群特点及使用场景
LVS集群模型分为以下四种:DR,NAT.TUN,FULL-NAT
<1>DR原理:
用户请求LVS到达director,director将请求的报文的目标MAC地址改成后端的realserver MAC地址,目标IP为VIP(不变),源IP为用户IP地址(保持不变),然后director将报文发送到realserver,realserver检测到目标为自己本地VIP,如果在同一个网段,然后将请求直接返给用户。如果用户跟realserver不在-一个网段,则通过网关返回用户
(1)Director和各RS都配置有VIP
(2)确保前端路由器将目标IP为VIP的请求报文发往Director
(3)RS的RIP可以使用私网地址,也可以是公网地址;RIP与DIP在同一IP网络;RIP的网关不能指向DIP,以确保响应报文不会经由Director
(4)RS和Director要在同一个物理网络
(5)请求报文要经由Director,但响应报文不经由Director,而由RS直接发往Client
(6)不支持端口映射(端口不能修败)
(7)RS可使用大多数OS系统
<2> TUN原理:
用户请求LVS到达director , director通过IP-TUN加密技术将请求的报文的目标MAC地址改成后端的realserverMAC地址,目标IP为VIP(不变),源IP为用户IP地址(保持不变),然后director将报文发送到realserver, realserver基于IP-TUN解密,然后检测到目标为自己本地VIP ,如果在同一个网段,然后将请求直接返给用户。如果用户跟realserver不在-一个网段,则通过网关返回用户。
(1) DIP, VIP, RIP都应该是公网地址
(2) RS的网关一般不能指向DIP
(3) 请求报文要经由Director,但响应不经由Director
(4) 不支持端口映射
(5) RS的OS须支持隧道功能
<3>NAT原理:
用户请求LVS到达director ,director将请求的报文的目标IP地址改成后端的realserver IP地址,同时将报文的目标端口也改成后端选定的realserver 相应端口,最后将报文发送到realserver,realserver将数据返给director,director再把数据发送给用户。因为两次请求都经过director,所以访问量大的话,director会成为瓶颈
(1)RIP和DIP应在同一个IP网络,且应使用私网地址;RS的网关要指向DIP
(2)请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈
(3)支持端口映射,可修改请求报文的目标PORT
(4)VS必须是Linux系统,RS可以是任意OS系统
<4>FULLNAT原理:
通过同时修改请求报文的源IP地址和目标IP地址进行转发的模式。此类型的模式,默认Kernel不支持。
(1) VIP是公网地址,RIP和DIP是私网地址,且通常不在同一IP网络;因此,RIP的网关一般不会指向DIP
(2) RS收到的请求报文源地址是DIP,因此,只需响应给DIP;但Director还要将其发往Client
(3) 请求和响应报文都经由Director
(4) 支持端口映射
注意:此类型kernel默认不支持
2、描述LVS-DR工作原理,并配置实现。
<1>、客户端的请求会发往Director,此时,客户端请求报文的源Ip为CIP,目标Ip为Director的VIP。
<2>、当Director接受到客户端的请求报文后,Director会在请求报文外封装一个MAC首部,其源MAC为Director接口的MAC地址,目标MAC为选定RS的MAC地址;
<3>、当RS收到Director转发过来的请求报文后,检查发现请求报文的目标Ip为本地环回接口上配置的VIP,因此会接受报文进行响应处理。另外由于对ARP响应规则做了修改,因此RS不会把响应报文响应给director ,而是响应给GW;
<4>、客户端接收响应报文,完成通信。
DR模型配置:同网段
client端配置ip:
[root@node-1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
TYPE=Ethernet
BOOTPROTO=static
IPADDR=192.168.1.5
GATEWAY=192.168.1.6
PROFIX=24
NAME=eth0
DEVICE=eth0
ONBOOT=yes
Route配置:
[root@node-1 ~]# echo 1 >/proc/sys/net/ipv4/ip_forward
[root@node-1 ~]# sysctl -p
[root@node-1 ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.1.1 0.0.0.0 UG 0 0 0 eth1
192.168.1.0 0.0.0.0 255.255.255.0 U 0 0 0 eth1
192.168.10.0 0.0.0.0 255.255.255.0 U 0 0 0 eth0
RS1,RS2上面安装httpd服务:
[root@Rs1 ~]# yum install -y httpd
[root@Rs2 ~]# yum install -y httpd
配置网页文件页面:
[root@Rs1 ~]# echo Rs1 >/var/www/html/index.html
[root@Rs1 ~]# systemctl start httpd
[root@Rs2 ~]# echo Rs2 >/var/www/html/index.html
[root@Rs2 ~]# systemctl start httpd
route主机上面测试访问页面:
修改Rs1,Rs2网卡信息,网关指向route
[root@Rs1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
TYPE=Ethernet
BOOTPROTO=static
IPADDR=192.168.10.6
GATEWAY=192.168.10.3
PROFIX=24
DNS=192.168.10.3
NAME=eth0
DEVICE=eth0
ONBOOT=yes
[root@Rs2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
TYPE=Ethernet
BOOTPROTO=static
IPADDR=192.168.10.5
GATEWAY=192.168.10.3
PROFIX=24
DNS=192.168.10.3
NAME=eth0
DEVICE=eth0
ONBOOT=yes
LVS服务器上面修改网卡信息,网关指向Route,配置Vip
[root@node-2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
TYPE=Ethernet
BOOTPROTO=static
IPADDR=192.168.10.4
GATEWAY=192.168.10.3
PROFIX=24
NAME=eth0
DEVICE=eth0
ONBOOT=yes
[root@node-2 ~]# ip a a 192.168.10.100/24 dev eth0
[root@node-2 ~]# ip a
2: eth0:
link/ether 00:0c:29:27:71:8b brd ff:ff:ff:ff:ff:ff
inet 192.168.10.4/24 brd 192.168.10.255 scope global eth0
valid_lft forever preferred_lft forever
inet 192.168.10.100/24 scope global secondary eth0
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fe27:718b/64 scope link
valid_lft forever preferred_lft forever
Rs1,Rs2上面使用脚本配置vip,关闭arp响应:
[root@Rs2 ~]# vim rs.sh
#!/bin/bash
vip=192.168.10.100
mask='255.255.255.255'
dev=lo:1
case $1 in
start)
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
ifconfig $dev $vip netmask $mask #broadcast $vip up
#route add -host $vip dev $dev
;;
stop)
ifconfig $dev down
echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
;;
[root@Rs2 ~]# bash rs.sh start
[root@Rs2 ~]# ip a
1: lo:
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 192.168.10.100/32 scope global lo:1
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
LVS服务器上面安装ipvsadm软件:
[root@node-2 ~]# yum install -y ipvsadm
配置lvs规则:
[root@Lvs ~]# ipvsadm -A -t 192.168.10.100:80 -s wrr
[root@Lvs ~]# ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.5
[root@Lvs ~]# ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.6
[root@Lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.10.100:80 wrr
-> 192.168.10.5:80 Route 1 0 0
-> 192.168.10.6:80 Route 1 0 0
在client端测试:
3、实现LVS+Keepalived高可用。
在keepalive-master和keepalive-slave上面安装keepalive软件:
[root@Keep-Master ~]# yum install -y keepalived
[root@Keep-Slave ~]# yum install -y keepalived
启动keepalive服务,设为开机启动:
[root@Keep-Master ~]# systemctl start keepalived
[root@Keep-Master ~]# systemctl enable keepalived
Created symlink from /etc/systemd/system/multi-user.target.wants/keepalived.service to /usr/lib/systemd/system/keepalived.service.
[root@Keep-Master ~]#
[root@Keep-Slave ~]# systemctl start keepalived
[root@Keep-Slave ~]# systemctl enable keepalived
Created symlink from /etc/systemd/system/multi-user.target.wants/keepalived.service to /usr/lib/systemd/system/keepalived.service.
[root@Keep-Slave ~]#
安装ipvsadm软件用来检查ipvs规则:
[root@Keep-Master ~]# yum install -y ipvsadm
[root@Keep-Slave~]# yum install -y ipvsadm
Web-1和Web-2安装nginx:
[root@Web-1 ~]# yum install -y nginx
[root@Web-2 ~]# yum install -y nginx
启动nginx服务:修改配置文件,准备配置页面:
[root@Web-1 ~]# systemctl start nginx
[root@Web-1 ~]# systemctl enable nginx
[root@Web-2 ~]# systemctl start nginx
[root@Web-2 ~]# systemctl enable nginx
准备页面文件:
[root@Web-1 ~]# vim /usr/share/nginx/html/index.html
Web-1
[root@Web-2 ~]# vim /usr/share/nginx/html/index.html
Web-2
测试访问:
[root@Web-2 ~]# curl 192.168.10.6
Web-2
[root@Web-2 ~]# curl 192.168.10.5
Web-1
在两台RS(Web-1,Web-2)上面编辑vip配置脚本;
[root@Web-1 ~]# cat RS.sh
#!/bin/bash
VIP=192.168.1.100
case "$1" in
start)
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
;;
stop)
ifconfig lo:0 down
route del $VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0
[root@Web-1 ~]# chmod 755 RS.sh
[root@Web-1 ~]# vim RS.sh
[root@Web-2 ~]# bash RS.sh start
RealServer Start OK
检查VIP配置情况:
[root@Web-1 ~]# ip a
1: lo:
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 192.168.1.100/32 brd 192.168.1.100 scope global lo:0
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0:
link/ether 00:0c:29:25:d8:b3 brd ff:ff:ff:ff:ff:ff
inet 192.168.10.5/24 brd 192.168.10.255 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fe25:d8b3/64 scope link
valid_lft forever preferred_lft forever
[root@Web-1 ~]#
配置Keepalived服务器:Master
cd /etc/keepalived
#备份默认的keepalived配置
mv keepalived.conf keep-back.conf
vim keepalived.conf
global_defs {
vrrp_instance VI_1 {
state MASTER #指定Keepalived的角色,MASTER为主,BACKUP为备 记得大写
interface eth0 #网卡id 不同的电脑网卡id会有区别 可以使用:ip a查看
virtual_router_id 10 #虚拟路由编号,主备要一致
priority 100 #定义优先级,数字越大,优先级越高,主DR必须大于备用DR
advert_int 1 #检查间隔,默认为1s
authentication { #这里配置的密码最多为8位,主备要一致,否则无法正常通讯
auth_type PASS
auth_pass 123456
}
virtual_ipaddress {
192.168.10.100 #定义虚拟IP(VIP)为192.168.1.200,可多设,每行一个
}
}
# 定义对外提供服务的LVS的VIP以及port
virtual_server 192.168.10.100 80 {
delay_loop 6 # 设置健康检查时间,单位是秒
lb_algo rr # 设置负载调度的算法为wlc
lb_kind DR # 设置LVS实现负载的机制,有NAT、TUN、DR三个模式
nat_mask 255.255.255.0
persistence_timeout 0
protocol TCP
real_server 192.168.10.5 80 { # 指定real server1的IP地址
weight 3 # 配置节点权值,数字越大权重越高
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.10.6 80 { # 指定real server2的IP地址
weight 3 # 配置节点权值,数字越大权重越高
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
配置Keepalive服务器:Slave
cd /etc/keepalived
#备份默认的keepalived配置
mv keepalived.conf keep-back.conf
vim keepalived.conf
global_defs {
vrrp_instance VI_1 {
state BACKUP #指定Keepalived的角色,MASTER为主,BACKUP为备 记得大写
interface eth0 #网卡id 不同的电脑网卡id会有区别 可以使用:ip a查看
virtual_router_id 10 #虚拟路由编号,主备要一致
priority 90 #定义优先级,数字越大,优先级越高,主DR必须大于备用DR
advert_int 1 #检查间隔,默认为1s
authentication { #这里配置的密码最多为8位,主备要一致,否则无法正常通讯
auth_type PASS
auth_pass 123456
}
virtual_ipaddress {
192.168.10.100 #定义虚拟IP(VIP)为192.168.1.200,可多设,每行一个
}
}
# 定义对外提供服务的LVS的VIP以及port
virtual_server 192.168.10.100 80 {
delay_loop 6 # 设置健康检查时间,单位是秒
lb_algo rr # 设置负载调度的算法为rr
lb_kind DR # 设置LVS实现负载的机制,有NAT、TUN、DR三个模式
nat_mask 255.255.255.0
persistence_timeout 0
protocol TCP
real_server 192.168.10.6 80 { # 指定real server1的IP地址
weight 3 # 配置节点权值,数字越大权重越高
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.10.6 80 { # 指定real server2的IP地址
weight 3 # 配置节点权值,数字越大权重越高
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
使用ipvsadm命令查看
查看vip情况:
客户机测试:
模拟web-1故障: