高性能Nginx服务器（6）----lvs+Keepalived+Nginx双机主从热备
加上LVS的负载均衡的简介
（1）客户端的域名会解析成IP地址到LVS中
（2）LVS是做四层（基于TCP层的负载均衡器），由LVS转发到Nginx中
（3）其中Nginx可以是一主一备，一主多从，多主多从等，起到了集群的作用。Nginx集群肯定是有主从关系的，不可能只有主没有从，因为需要在主nginx不能用的情况下，做故障转移
（4）这里我们配置一主一备，通常情况下，备机是不会被访问的，只有在主机不能使用的时候，备机才会启用
（5）LVS是一个软负载均衡，他会组成一个虚拟的VIP，就是虚拟一个IP地址出来，让Nginx和LVS组合在一起，通过该IP可以访问到和LVS组合在一起的Nginx
（6）正常情况下虚拟出来的IP只会走到主的Nginx上，要想走到备机，必须主的Nginx不能使用。
（7）连接的Nginx就会走到Web服务器集群。Tomcat服务器集群也是分为主从的。（一般也是只能访问主的Tomcat，备机的Tomcat在主不能用的时候才能访问）
这样就可以实现7*24小时的主从热备。
- 简单的图示：（后面会详细的介绍）
LVS与Keepalived
-
LVS：LVS是一个四层负载均衡器（基于TCP），是一个软负载均衡器。可以完成所有的负载均衡的业务需求。有虚拟化技术，可以虚拟化一个IP地址。LVS默认在Linux的2.4内核之后都是安装好的。所以我们无需安装，直接配置使用就行。
-
Nginx与LVS的区别：
（1）Nginx是一个七层负载均衡（基于HTTP的），主要针对于应用层的负载均衡，在1.9之后，Nginx支持4层负载均衡
（2）LVS是一个四层负载均衡（基于TCP的）。针对于传输层负载均衡。LVS的应用场景比Nginx的应用场景更加广泛，LVS支持所有的负载均衡的业务需求。LVS应用场景：数据库负载均衡
（3）LVS还支持虚拟化，可以虚拟化一个虚拟IP地址出来。 -
Keepalived：是基于LVS基础上的，实现心跳检测，监控服务器，实现故障转移，如果服务器发生down机，可以尝试自动重试脚本。如果多次重试还是失败，会自动发送邮件给运维人员。主要用于高可用，心跳检测，故障转移
-
一般要使用高可用是用LVS+Keepaliced的。
LVS+Keepalived+Nginx流程图
（1）客户端发送请求，会先进行DNS解析，先判断浏览器是否有域名缓存，没有就判断本地hosts文件，再没有就去DNS解析域名
（2）经过LVS四层负载均衡，先到LVS是因为其抗负载能力强于Nginx，而且LVS可以虚拟IP可以管理Nginx的集群关系，如果Nginx做集群，有多个Nginx，我们通过LVS的虚拟IP可以访问到某一个主Nginx（如果是多主多备，可以轮训主服务器的nginx，一主一备只会访问主的Nginx）。注意：其实这里是用LVS+Keepalived一起实现的，Keepalived的作用是心跳检测，故障转移，如果主没有挂的情况下，一直访问主服务器，主服务器一挂，就会切换到备机上。
（3）从LVS到指定的Nginx中，主和备Nginx有着自己独立的Web服务器集群，即主有主的Web服务器集群。（主和备都是单独的Web服务器集群）。当主成功重新拉起的时候，我们会重新使用主服务器，不会再使用备机。
搭建环境
Nginx主服务器：192.168.159.129
Nginx备服务器：192.168.159.130
LVS虚拟VIP：192.168.159.110
- 注意虚拟VIP的前面三个一定要和Nginx主和备的一致，Nginx主和备的前面三个也要一致
- 克隆一台服务器出来，注意克隆完成后要修改其mac地址（无需配置，直接重新生成就好），克隆后该虚拟机的IP是192.168.159.129（作为主nginx服务器）
（1）在/usr/local目录下安装nginx（省略这个安装，之前讲了太多了）
（2）安装keepalived（还是在/usr/local目录下）
- 下载keepalived
wget http://www.keepalived.org/software/keepalived-1.2.18.tar.gz- 解压安装
tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/- 下载插件openssl
yum install -y openssl openssl-devel（需要安装一个软件包）- 开始编译keepalived
cd keepalived-1.2.18/ && ./configure --prefix=/usr/local/keepalived- 安装
make && make install
- 提示：此时可能会报错
报错: eepalived执行./configure --prefix=/usr/local/keepalived时报错：configure: error: Popt libraries is required
出现此错误的原因：
未安装popt的开发包
解决方法：
yum install popt-devel
安装好popt的开发包。重新./configure 即可。
该界面表示已经安装成功（./configure成功）
（3）将keepalived安装成Linux服务
- 将keepalived安装成Linux系统服务，因为没有使用keepalived的默认安装路径（默认的安装路径是/usr/local），安装完成之后，需要做一些修改工作
- 创建文件夹，将keepalived配置文件进行复制：
mkdir /etc/keepalived
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/- 复制leepalived的脚本文件
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /usr/local/sbin/keepalived /usr/sbin/
ln -s /usr/local/keepalived/sbin/keepalived /sbin/
（这一步可能会报错，先不管，后面如果启动报错，会有步骤解决）- 可以将其设置为开机启动：
chkconfig keepalived on
- Keepalived的常用命令：
（1）service keepalived start
（2）service keepalived stop- 注意：
- 启动报错：Starting keepalived (via systemctl): Job for keepalived.service failed. See ‘systemctl status keepalived.service’ and ‘journalctl -xn’ for details.
- 解决方法：
[root@edu-proxy-01 sbin]# cd /usr/sbin/
[root@edu-proxy-01 sbin]# rm -f keepalived
[root@edu-proxy-01 sbin]# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
（4）使用keepalived虚拟VIP
- 编辑配置文件
- vi /etc/keepalived/keepalived.conf
- 直接删除原来的conf配置文件，新建一个一模一样的，将里面内容改成下面的
vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh" #运行脚本，脚本内容下面有，就是起到一个nginx宕机以后，自动开启服务
interval 2 #检测时间间隔
weight -20 #如果条件成立的话，则权重 -20
}
# 定义虚拟路由，VI_1 为虚拟路由的标示符，自己定义名称
vrrp_instance VI_1 {
state MASTER #来决定主从 BACKUP表示从
interface ens33 # 绑定虚拟 IP 的网络接口，根据自己的机器填写
virtual_router_id 121# 虚拟路由的 ID 号， 两个节点设置必须一样 将keepalived.conf文件中的virtual_router_id参数设置成其它即可，如：79、89、101。只要取值范围在取值0-255就行。
mcast_src_ip 192.168.159.129 #填写本机ip
priority 100 # 节点优先级,主要比从节点优先级高
nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
advert_int 1 # 组播信息发送间隔，两个节点设置必须一样，默认 1s
# 生产的时候会使用，账号密码
authentication {
auth_type PASS
auth_pass 1111
}
# 将 track_script 块加入 instance 配置块
track_script {
chk_nginx #执行 Nginx 监控的服务
}
# 虚拟的ip地址，前三个必须和当前服务器的前三个一致，要在同一个网段中
virtual_ipaddress {
192.168.159.110 # 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展，用途广泛。可配置多个。我们访问该ip会跳转到真实的Nginx中去
}
}
（5）启动nginx主服务器
（6）启动Keeplived
（7）浏览器访问Keepalived借由LVS虚拟的VIP，这里是192.168.159.110
此时ip a可以发现在原有的IP上多出了一个110的ip
- 此时就已经完成了主机上的搭建（192.168.159.129）
（8）Nginx搭建一主一备
- 当我们主机挂了的时候，我们就会访问备机（192.168.159.130）
- 这里我们偷懒下，直接克隆搭建好的主机，然后修改其mac地址，以及配置的地址等
- 修改克隆的mac地址（无需改配置，重新生成下就行）
- 修改keepalived的配置文件，因为我们如果要做一主一备，不可能配置的keepalived全都是主机（main），一个虚拟VIP只能在一台服务器上存放；但是我们要实现多主多备的时候，就可以配置成多个master
- 主和备的虚拟IP（虚拟出的VIP）是一致的，因为我们要通过同一个ip去访问，做到主从热备
- 修改master为backup，并且修改本机ip为192.168.159.130
- vi /etc/keepalived/keepalived.conf
vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh" #运行脚本，脚本内容下面有，就是起到一个nginx宕机以后，自动开启服务
interval 2 #检测时间间隔
weight -20 #如果条件成立的话，则权重 -20
}
# 定义虚拟路由，VI_1 为虚拟路由的标示符，自己定义名称
vrrp_instance VI_1 {
state BACKUP#来决定主从 BACKUP表示从
interface ens33 # 绑定虚拟 IP 的网络接口，根据自己的机器填写
virtual_router_id 121# 虚拟路由的 ID 号， 两个节点设置必须一样 将keepalived.conf文件中的virtual_router_id参数设置成其它即可，如：79、89、101。只要取值范围在取值0-255就行。
mcast_src_ip 192.168.159.130 #填写本机ip
priority 100 # 节点优先级,主要比从节点优先级高
nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
advert_int 1 # 组播信息发送间隔，两个节点设置必须一样，默认 1s
# 生产的时候会使用，账号密码
authentication {
auth_type PASS
auth_pass 1111
}
# 将 track_script 块加入 instance 配置块
track_script {
chk_nginx #执行 Nginx 监控的服务
}
# 虚拟的ip地址，前三个必须和当前服务器的前三个一致，要在同一个网段中
virtual_ipaddress {
192.168.159.110 # 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展，用途广泛。可配置多个。我们访问该ip会跳转到真实的Nginx中去
}
}
（9）启动129和130的nginx和keepalived，发现我们只有129（主）的机子上会有110的ip，而130（从）的机子上没有
- 只有这样子我们就能实现一主一备用，110的ip在哪个机子上，哪个机子就是主
- 我们访问110的ip只会跳转到主的nginx上（主的环境一切正常，无论访问多少次都是主的地址），如图：
- 我们这时候假设主服务器down机，其他什么都不变，再次访问110的ip（虚拟VIP）
我们会发现其自动切到备Nginx上，此时110的虚拟ip就在130上，而不是129上
- 此时如果主（129）服务器恢复正常，就又会回到主服务器，访问主的Nginx
（9）Keepalived实现心跳检测实现自动重启（高可用） - 如果项目在生产环境中发生down机，应该怎么处理？
（1）故障转移
（2）自动心跳检测
（3）既然有故障转移，那么就要做负载均衡
（4）心跳检测，ping主服务器发现其不通，就自动重启
- keepalived的心跳检测：就是发送一个包，ping服务器，如果不通（表示没有启动）就会进行自动重启，自动执行重启脚本
- 我们在keepalived中配置了心跳检测脚本的位置以及间隔
vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh" #运行脚本，脚本内容下面有，就是起到一个nginx宕机以后，自动开启服务
interval 2 #检测时间间隔
weight -20 #如果条件成立的话，则权重 -20
}
- 写入脚本：vim /etc/keepalived/nginx_check.sh（129和130都写上也行）
#!/bin/bash
A=`ps -C nginx –no-header |wc -l`
if [ $A -eq 0 ];then
## 启动nginx
/usr/local/nginx/sbin/nginx
## 每隔2ms进行心跳检测
sleep 2
if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
killall keepalived
fi
fi
注意该脚本一定要授权chmod 777 nginx_check.sh。
- 这时候测试的时候，最好把备机停掉，否则有影响，有时候跳到备机上了，这时候测试只在主服务测试（129）备机直接停掉，实现主服务Nginx停掉之后，能快速心跳检测，并自动将Nginx拉起（都是指的主服务器的，129）
- 这里的心跳检测，自动重新拉起nginx，是keepalived帮我们实现的，因为心跳检测的脚本是keepalived配置的
- 如果重启多次还是失败，我们就会发送邮件给运维管理员（这个也可以在keepalived中进行配置）
（10）Tomcat实现一主一备
- 如果tomcat主没有down机，只会走主的Tomcat，主的挂了才会走备机Tomcat，跟Nginx一致。
- 我们的tomcat的一主一备是由Nginx中配置实现的
upstream testproxy {
server 127.0.0.1:8080;
server 127.0.0.1:8081 backup;
}
server {
listen 80;
server_name localhost;
location / {
proxy_pass http://testproxy;
index index.html index.htm;
}
###nginx与上游服务器(真实访问的服务器)超时时间 后端服务器连接的超时时间_发起握手等候响应超时时间
proxy_connect_timeout 1s;
###nginx发送给上游服务器(真实访问的服务器)超时时间
proxy_send_timeout 1s;
### nginx接受上游服务器(真实访问的服务器)超时时间
proxy_read_timeout 1s;
}
- 只要在希望成为后备的服务器 ip 后面多添加一个 backup 参数，这台服务器就会成为备份服务器。
- 在平时不使用，nginx 不会给它转发任何请求。只有当其他节点全部无法连接的时候，nginx 才会启用这个节点。
- 一旦有可用的节点恢复服务，备Tomcat则不再使用，又进入后备状态，主的Tomcat重新成为主，正常使用