【LVS + Keepalived 群集】

---

一、Keepalived 案列分析

企业应用中，单台服务器承担应用存在单点故障的危险

单点故障一旦发生，企业服务将发送中断，造成极大的危害

二、Keeoalived 工具介绍

专门为LVS 和 HA 设计的一款健康检查工具

支持故障自动切换
支持节点的健康状态检查

1、keepalived 实现原理剖析

keepalived 采用VRRP热备份协议实现Linux 服务器的多机热备功能

2、VRRP （虚拟路由冗余协议）是指对路由器的一种备份解决方案

由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务

每个热备组内同时只有一台主路由器提供服务，其他路由器处于几余状态

若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

3、keepalived 案例讲解

双机热备的故障切换是由虚拟IP地址的飘逸来实现，使用于各种应用服务器

实现基于web 服务的双机热备

飘移地址：192.168.10.72
主，备服务器：192.168.10.73、192.168.10.74
提供的应用服务：web

4、keepalived 的安装与启动

在LVS 群集环境中应用时，也需要ipvsadm 管理工具

使用yum 进行安装 keepalived

启动keepalived 服务

5、Keepalived及其工作原理

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。

在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP（VIP），主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

Keepalived体系主要模块及其作用

keepalived体系架构中主要有三个模块，分别是core、check和vrrp。

●core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。

●vrrp模块：是来实现VRRP协议的。（调度器之间的健康检查和主备切换）

●check模块：负责健康检查，常见的方式有端口检查及URL检查。（节点服务器的健康检查）

三、LVS+Keepalived 高可用群集

主DR 服务器：192.168.102.50
备DR 服务器：192.168.102.40
Web 服务器1：192.168.102.10
Web 服务器2：192.168.102.20
vip：192.168.102.188
客户端：192.168.102.200

1.配置负载调度器（主、备相同）

关闭防火墙

systemctl stop firewalld.service
setenforce 0

安装服务

yum -y install ipvsadm keepalived

开启ipvsadm服务

modprobe ip_vs
cat /proc/net/ip_vs

（1）配置keeplived 主DR服务器

进入keepalived 目录，给里面的内容备份

cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak

进入配置文件里修改

vim keepalived.conf

global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地
	smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
	router_id LVS_01
--14行--注释掉，取消严格遵守VRRP协议功能，否则VIP无法被连接
	#vrrp_strict
}

vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
    state MASTER
--21行--修改，指定承载vip地址的物理接口
    interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	
    virtual_router_id 10
	#nopreempt		#如果设置非抢占模式，两个节点state必须为BACKUP，并加上配置 nopreempt
--23行--修改，指定优先级，数值越大优先级越高，这里设置主为100，备为90
    priority 100
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致
        auth_pass abc123
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.102.188
    }
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.102.188 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 0			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
    real_server 192.168.102.10 80 {
        weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}

	real_server 192.168.102.20 80 {		#添加第二个 Web节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
##删除后面多余的配置##
}

修改完后重新启动服务

systemctl start keepalived
systemctl enable keepalived.service

查看虚拟网卡 vip

ip addr	

查看到在主的上面增加了一个虚拟网卡 vip

（2）配置keeplived 备DR服务器

关闭防火墙

systemctl stop firewalld.service
setenforce 0

安装服务

yum -y install ipvsadm keepalived

开启ipvsadm服务

modprobe ip_vs
cat /proc/net/ip_vs

进入keepalived 目录，给里面的内容备份

cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak

进入配置文件里修改

vim keepalived.conf

修改完后重新启动服务

systemctl start keepalived
systemctl enable keepalived.service

查看虚拟网卡 vip

ip addr	

（3）启动 ipvsadm 服务

192.168.102.50 主调度器

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm

ipvsadm -ln
#如没有VIP 的分发策略，则重启 keepalived 服务，systemctl restart keepalived

192.168.102.40 备调度器

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm

ipvsadm -ln

（4）调整 proc 响应参数，关闭Linux 内核的重定向参数响应

vim /etc/sysctl.conf

加入配置文件

net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

重新加载

sysctl -p

2.配置节点服务器（192.168.102.10,192.168.102.20）

配置节点服务器1

关闭防火墙

systemctl stop firewalld
setenforce 0

安装一个服务器

yum -y install httpd
systemctl start httpd

在节点服务器1 上写入网页内容

echo 'this is benet web!' > /var/www/html/index.html

创建一个虚拟网卡

cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0		

vim ifcfg-lo:0

DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.102.188
NETMASK=255.255.255.255

注意：子网掩码必须全为1

启动虚拟网卡，并添加路由，将发送给vip地址的包从虚拟网卡回环地址发送（将访问vip的数据限制在本地以免arp混乱）
单独启动网卡设置

ifup lo:0
ifconfig lo:0

添加到rc.local 开机自动加载上面的限制命令 （永久添加）

vim /etc/rc.d/rc.local

route add -host 192.168.102.188 dev lo:0

加入权限

chmod +x /etc/rc.d/rc.local

调整内核的 ARP 响应参数以阻止更新 VIP 的 MAC 地址，避免发生冲突

vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1			#系统只响应目的IP为本地IP的ARP请求
net.ipv4.conf.lo.arp_announce = 2		#系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

刷新配置

sysctl -p

配置节点服务器2

关闭防火墙

systemctl stop firewalld
setenforce 0

安装一个服务器

yum -y install httpd
systemctl start httpd

在节点服务器2 上写入网页内容

echo 'this is dai web!' > /var/www/html/index.html

创建一个虚拟网卡

cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0		

vim ifcfg-lo:0

DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.102.188
NETMASK=255.255.255.255

注意：子网掩码必须全为1

启动虚拟网卡，并添加路由，将发送给vip地址的包从虚拟网卡回环地址发送（将访问vip的数据限制在本地以免arp混乱）
单独启动网卡设置

ifup lo:0
ifconfig lo:0

添加到rc.local 开机自动加载上面的限制命令 （永久添加）

vim /etc/rc.d/rc.local

route add -host 192.168.102.188 dev lo:0

加入权限

chmod +x /etc/rc.d/rc.local

调整内核的 ARP 响应参数以阻止更新 VIP 的 MAC 地址，避免发生冲突

vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1			#系统只响应目的IP为本地IP的ARP请求
net.ipv4.conf.lo.arp_announce = 2		#系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

刷新配置

sysctl -p

使用浏览器进行测试

在客户端访问 http://192.168.102.188/
再在主服务器关闭 keepalived 服务后再测试， systemctl stop keepalived

Keepalived通过什么判断哪台主机为主服务器,通过什么方式配置浮动IP？

答案:
Keepalived首先做初始化先检查state状态，master为主服务器，backup为备服务器。
然后再对比所有服务器的priority，谁的优先级高谁是最终的主服务器。
优先级高的服务器会通过ip命令为自己的电脑配置一个提前定义好的浮动IP地址。

四、keepalived的抢占与非抢占模式

抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后不抢占BACKUP升级为MASTER后的VIP
非抢占式俩节点state必须为bakcup，且必须配置nopreempt。
注意：这样配置后，我们要注意启动服务的顺序，优先启动的获取master权限，与优先级没有关系了。

五、nginx 的keepalived配置

1、配置调度器1 （192.168.102.50）

安装nginx

vim /etc/yum.repos.d/nginx.repo

[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
enabled=1

yum install -y nginx

进入nginx的配置文件里添加内容，实现4层代理

cd /etc/nginx
vim nginx.conf

stream{
    upstream backend{
         server 192.168.102.10:80;
         server 192.168.102.20:80;

    }
        server{
             listen 8080;
             proxy_pass backend;
         }
}

配置完后重新启动服务，并查看端口有没有打开

使用别的客户端主机访问 192.168.102.50 看有没有实现转发

在keepalived 的目录里写下一个脚本

#!/bin/bash
if !  killall -0 nginx
then
    systemctl stop keepalived
fi

给脚本加上权限

chmod +x nginx.sh 

进入 keepalived 的配置文件里修改

vim keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]
     [email protected]
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_01
   #vrrp_skip_check_adv_addr
   #vrrp_strict
   #vrrp_garp_interval 0
   #vrrp_gna_interval 0
}

vrrp_script chk_nginx {
      script "/etc/keepalived/nginx.sh"
      interval 2
      weight 2
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.102.188
    }
   track_script {
          chk_nginx
     }

}

2、配置调度器2 （192.168.102.40）

安装nginx

vim /etc/yum.repos.d/nginx.repo

[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
enabled=1

yum install -y nginx

进入nginx的配置文件里添加内容，实现4层代理

cd /etc/nginx
vim nginx.conf

stream{
    upstream backend{
         server 192.168.102.10:80;
         server 192.168.102.20:80;

    }
        server{
             listen 8080;
             proxy_pass backend;
         }
}

配置完后重新启动服务，并查看端口有没有打开

使用别的客户端主机访问 192.168.102.40 看有没有实现转发

在keepalived 的目录里写下一个脚本

#!/bin/bash
if !  killall -0 nginx
then
    systemctl stop keepalived
fi

给脚本加上权限

chmod +x nginx.sh 

进入nginx的配置文件里添加内容，实现4层代理

cd /etc/nginx
vim nginx.conf

stream{
    upstream backend{
         server 192.168.102.10:80;
         server 192.168.102.20:80;

    }
        server{
             listen 8080;
             proxy_pass backend;
         }
}

进入 keepalived 的配置文件里修改

vim keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]
     [email protected]
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_02
   #vrrp_skip_check_adv_addr
   #vrrp_strict
   #vrrp_garp_interval 0
   #vrrp_gna_interval 0
}

vrrp_script chk_nginx {
      script "/etc/keepalived/nginx.sh"
      interval 2
      weight 2

}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.102.188
    }
   track_script {
          chk_nginx
     }

}

使用客户机访问 192.168.102.188 看有没有通过脚本的模式来实现负载均衡