centos上安装并持久化配置LVS
1 实验背景
1）系统版本：centos7.8
2）虚拟机：3个centos虚拟机，（其中一个做Director Server,另外两个做Real Server)
3) LVS大致有NAT ,DR ,Tun这三种模式，这里搭建一个典型的DR模式的LVS
Direct Server 的ip是 192.168.121.100
两台Real Server的ip分别是 192.168.121.101 、192.168.121.102
vip是 192.168.121.250
这三个虚拟机的子网掩码是 255.255.255.0
2 Director Server 负载均衡调度配置
1) 关闭selinux、firewalld、NetworkManager
#关闭selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
#关闭firewalld
systemctl stop firewalld && systemctl disable firewalld
#关闭NetworkManager
systemctl stop NetworkManager && systemctl disable NetworkManager
2）配置Director Server的虚拟IP
创建一个虚拟网络接口的配置文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33:0
然后在其中写入以下内容
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
DEVICE=ens33:0 #将网卡修改为子接口
ONBOOT=yes
IPADDR=192.168.121.250
NETMASK=255.255.255.0
重启网络，查看是否有这个虚拟网络接口
systemctl restart network
ifconfig | grep ens33:0
3）修改系统内核文件，关闭广播功能
编辑内核配置文件
vim /etc/sysctl.conf
在内核配置文件中添加参数关闭所有网卡广播功能
0 表示禁用发送重定向，禁用发送重定向可以防止网络攻击，如 ARP 欺骗和 IP 欺骗
net.ipv4.conf.all.send_redirects = 0 #所有网卡的
net.ipv4.conf.default.send_redirects = 0 #默然网卡的
net.ipv4.conf.ens33.send_redirects = 0 #ens33网卡的（根据需要修改为真实网卡即可）
添加完毕后，刷新内核参数使其生效
sysctl -p #刷新内核参数
4）安装ipvsadm
标准镜像中使用yum直接安装
yum install ipvsadm -y
modprobe ip_vs #将ipvsadm加载到内核中来
3 安装Web服务器
使用yum分别在两台Real Server上安装nginx
#我们在Centos下使用yum安装时往往找不到rpm的情况，官方的rpm repository提供的rpm包也不够丰富，
#很多时候需要自己编译很痛苦，而EPEL恰恰可以解决这两方面的问题
yum -y install epel-release
#更新yum源
yum -y update
#安装nginx
yum install -y nginx
# 将两台虚拟机中的nginx主页中的"Welcome to CentOS"
#分别改为"Welcome to CentOS (worker1)" 、 "Welcome to CentOS (worker2)"
vim /usr/share/nginx/html/index.html
# 重启nginx
systemctl start nginx
4 配置Real Server的虚拟网络
在两台Real Server上分别创建一个虚拟的环回网络端口配置文件
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
然后在ifcfg-lo:0写入一下内容
DEVICE=lo:0
IPADDR=192.168.121.250
NETMASK=255.255.255.255
BROADCAST=192.168.121.250
ONBOOT=yes
重启网络
systemctl restart network
ifconfig | grep lo:0
此时的虚拟环回地址是无法回信的，需要添加一条主机路由
#所有发送到 192.168.121.250 的数据包将通过本地回环接口发送
route add -host 192.168.121.250 dev lo:0
#为了防止重启失效，将此路由添加至开机自启
echo "route add -host 192.168.121.250 dev lo:0" >> /etc/rc.local
然后再重启网络，尝试ping 命令是否有回信
ifconfig | grep lo:0
ping 192.168.121.250
5 配置内核文件 控制Real Server的arp通讯行为
#arp-ignore
# 0 只要本机配置有相应IP地址就响应；
# 1 仅在请求的目标地址配置在请求到达网络接口上时，才给予响应；
#arp-announce
# 0 将本机任何网络接口上的任何地址都向外通告；
# 1 尽可能避免向目标网络通告与其网络不匹配的地址信息表；
# 2 仅向目标网络通告与其网络相匹配的地址信息。
在 配置文件/etc/sysctl.conf中写入以下内容
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
6 Director Server添加ipvsadm规则
1）使用ipvsadm命令配置负责均衡
-A表示添加一个集群,-a表示添加集群中的子节点，
-t表示tcp协议,-s指定算法，rr表示轮巡(默认60秒切换一次)，-r指定后端真实web服务器，
-g启用IPVS的网关模式（DR模式）
# ipvsadm -A -t 集群IP:80 -s rr
# ipvsadm -a -t 集群IP:80 -r web1:80 -g
# ipvsadm -a -t 集群IP:80 -r web2:80 -g
ipvsadm -A -t 192.168.121.250:80 -s rr
ipvsadm -a -t 192.168.121.250:80 -r 192.168.121.101:80 -g
ipvsadm -a -t 192.168.121.250:80 -r 192.168.121.102:80 -g
2）修改配置文件，保证重启后ipvsadm 规则不丢失
修改配置文件ipvsadm-config
vim /etc/sysconfig/ipvsadm-config
# IPVSADM_SAVE_ON_STOP 表示ipvsadm停止时，是否自动保存ipvsadm规则
# IPVSADM_SAVE_ON_STOP 表示ipvsadm重启时，是否自动保存ipvsadm规则
# 这两个参数，默认值都是'no',这里需要改成'yes'
IPVSADM_SAVE_ON_STOP="yes"
IPVSADM_SAVE_ON_RESTART="yes"
7、功能测试
查看配置是否生效
ipvsadm -L --stats
在宿主机浏览器打开 http://192.168.121.250/ ，反复刷新可以看到 ‘Welcome to CentOS (worker2)’ ’Welcome to CentOS (worker1)‘ 字样交替出现
