先简单说下 这个架构

目前大家用LVS+Keepalived + APP 架构都是 2台LVS +Keepalived 然后后端跟着 应用设备

因为我们公司太扣了 说 2台LVS平常没什么压力 还有一台备着(其实可以跑双主)  想让我们充分利用起来  能不能把后端应用 也部署都LVS上

这样的话 架构就是   #下面讲解2台设备  分别部署apache+LVS+keepalived 实现高可用跟设备都在服务(没有空闲设备)

架构图 如下:#不会画图

原理说下吧   (#DR模式)

其实这个跟我们平常部署LVS+Keepalived没什么区别   部署过程我以前写过一个文章 可以去参照那个

当时如果整个过程你按照以前的那种部署思路 发现部署完之后  总有那么一台real-server不能服务(我实验过 把备机的keepalived stop就好了)  以前也一直纠结这个

原因跟解决方法如下:(摘自 扶凯博客)

当客户端发送数据包给 VIP .比如我们的 Director1 (Master 主)这个接口正在工作,这时 LVS 能接收到这个包,然后根据 keepalived 的配置进行 load balance .这时 Director1 会使用 LVS-DR 的功能给包路由给自己或者 Director2 (Backup).
这时有个问题.在这个例子中因为我们使用了 keepalived .这时 Director2 这台是一台 VIP 的备份服务器.这时 keepalived 默认会立即启动使用 ipvsadm 的规则来配置这台服务器怎么样做备份的处理.来使得更快的故障转移.所以这时这些规则这台备份的 Director2 主机都会存在.
这就有问题了.当从 Director1 (Master 主),比如使用 rr .会转发大约 50% 的包从 Director1 到  Director2 (Backup)的 3306 的端口.这时因为 Director2 因为这些 LVS-DR 的配置规则会接着给这些包,在做一次 load balance .又发回去给 Director1.这时会产生一个死的循环.
随着时间的推移，不但不能正常的处理连接,您的服务器也会崩溃，在他们中间或后端不断的反复连接

解决方案: 给进入 eth0 的包打包 mark 的标记,当数据包是发给 VIP:80  并且 MAC 不其它 LVS 服务器的话. 才做个 mark ,这样才会对指定的 fwmark 进行 loadbalance 放入到 LVS 中处理.只要数据包是从任意其它的 MAC 地址(非 LVS 的转发)会被发往 VIP:port, 会不在进行 loadbalanced 而是直接转给后面监听的  demon 程序进行应用的处理.实际就是我们使用 iptables 来对进入的流量设置 MARK.然后配置 keepalived 只处理有 MARK 过的流量.不在使用以前绑定 VIP 和端口

下面我们来给指定的包打标签吧 (利用iptables)命令如下

在LVS 1上执行


1
iptables -t mangle -I PREROUTING -d $VIP -p tcp -m tcp --dport $VPORT -m mac ! --mac -source $MAC_Director2 -j MARK --set -mark 0x3
$VIP 为VIP地址
$VPORT 为服务端口
$MAC_Director2 是备机的MAC (keepalived 之间互相监听的那块网卡)
在LVS2上执行
1
iptables -t mangle -I PREROUTING -d $VIP -p tcp -m tcp --dport $VPORT -m mac  ! --mac -source $MAC_Director1 -j MARK --set -mark 0x4
$VIP 为VIP地址
$VPORT 为服务端口
$MAC_Director1 是主 的MAC (keepalived 之间互相监听的那块网卡)
改配置文件 ## 跟平常架构配置没大区别
关于/etc/init.d/real-server 的脚本 这里就不介绍了 都懂的….
然后改下LVS1 的keepalived配置文件   #主
vrrp_instance VIP_1 {
interface eth0
state MASTER
virtual_router_id 55
priority 100
virtual_ipaddress {
192.168.20.249
}
notify_backup   “/etc/init.d/real-server start”  ## 切到备 后执行的脚本
notify_master   “/etc/init.d/real-server stop”   ## 切到主 后执行的脚本
notify_fault   “/etc/init.d/real-server start”      ## 故障状态 后执行的脚本(我也没弄懂这个状态是啥状态 )
}
virtual_server   fwmark 3  80 {   ####fwmark 3 为刚才用iptables打的标签
delay_loop 3
lb_algo rr
lb_kind DR
protocol TCP
sorry_server 127.0.0.1 80
real_server 192.168.20.102 80 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.20.150 80 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}

然后改下LVS2 的keepalived配置文件 #备

vrrp_instance VIP_1 {
interface eth0
state MASTER
virtual_router_id 55
priority 80
virtual_ipaddress {
192.168.20.249
}

notify_master  “/etc/init.d/real-server stop”  ##切到主 后执行的脚本
notify_backup  “/etc/init.d/real-server start” ##切到备 后执行的脚本
}
virtual_server   fwmark 4  80 { ###fwmark 4 为刚才用iptables打的标签
delay_loop 3
lb_algo rr
lb_kind DR
protocol TCP
sorry_server 127.0.0.1 80
real_server 192.168.20.102 80 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.20.150 80 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}

最后都是启动keepalived  测试下


后记吧

这里有个问题  如果keepalived切到备份后(这个切换触发条件 有点纠结 我手动把keepalived down了 但是没执行 notify_backup   “/etc/init.d/real-server start” 和 notify_fault   “/etc/init.d/real-server start”   命令   )  那这个时候就有问题了  当时如果是机器down了 那没事  当时如果是keepalived服务down了  机器没down 那 也只能 一台在服务(这个很纠结)  所有得重点保障 主的keepalived一直正常  那整个平台 设备利用率最高了.