LVS+keepalived负载均衡架构

学习视频地址

https://www.bilibili.com/video/av18406086/?from=search&seid=15398035024605283014

1. LVS定义

LVS，Linux Virtual Server，linux虚拟服务器。
LVS实现负载均衡的原理：用户请求LVS的VIP(Virtual IP)，LVS根据转发方式和算法将请求发送个后端服务器，后端服务器返回response给用户。
VS/NAT,VS/TUN和VS/DR技术，是LVS将请求转发的三种方式。

LVS/NAT原理：这个是通过网络地址转换的方法来实现调度的。首先调度器(LB)接收到客户的请求数据包时（请求的目的IP为VIP），根据调度算法决定将请求发送给哪个后端的真实服务器（RS）。然后调度就把客户端发送的请求数据包的目标IP地址及端口改成后端真实服务器的IP地址（RIP）,这样真实服务器（RS）就能够接收到客户的请求数据包了。真实服务器响应完请求后，查看默认路由（NAT模式下我们需要把RS的默认路由设置为LB服务器。）把响应后的数据包发送给LB,LB再接收到响应包后，把包的源地址改成虚拟地址（VIP）然后发送回给客户端。(两次请求经过director，所以访问量大的话，director会成为瓶颈)网上教程有个说法，realserver不得超过20台，不然性能很低。

LVS/DR原理：用户请求LVS到director服务器，director将请求报文的目的MAC地址改为后端realserver的MAC地址，目标ip为vip(不变)，然后Director将报文发送给realserver，realserver检查目标为自己本地ip，如果同一网段，请求直接返回，如果不在同一网段，则直接通过网关返回，无需再经过director。如下图所示

image.png

LVS/TUN原理：为了解决这个问题，调度器把请求的报文通过IP隧道转发到真实的服务器。真实的服务器将响应处理后的数据直接返回给客户端。这样调度器就只处理请求入站报文，由于一般网络服务应答数据比请求报文大很多，采用VS/TUN模式后，集群系统的最大吞吐量可以提高10倍。

参考资料：
LVS三种工作模式详解

2. LVS相关概念：

1）LVS：Linux虚拟服务器，是一个虚拟的服务器集群系统，一个自由软件项目。
2）ipvs：如果操作系统集成了LVS，那么可以在系统内核中发现ip_vs选项。如下图所示

屏幕快照 2018-03-16 23.04.48.png

3）ipvsadm：这是个对ipvs模块的命令行管理工具。正常情况下，我们要配置操作lvs，都要用到它。
4）ifconfig中四个地址的概念：
ifconfig中lo，eth0，br0，wlan0接口

lo 回环接口
eth0 以太网接口
br0 网桥接口
wlan0 无线接口
5）RS：文中常见RS意思是realserver
6）Lvs的调度算法决定了如何在集群节点之间分布工作负荷,最常见以下四种：
rr：轮询算法，它将请求依次分配给不同的rs节点，也就是RS节点中均摊分配。这种算法简单，但只适合于RS节点处理性能差不多的情况
lc：最小连接数调度（least-connection）,IPVS表存储了所有活动的连接。LB会比较将连接请求发送到当前连接最少的RS.
wrr：加权轮训调度，它将依据不同RS的权值分配任务。权值较高的RS将优先获得任务，并且分配到的连接数将比权值低的RS更多。相同权值的RS得到相同数目的连接数。
wlc：加权最小连接数调度，假设各台RS的全职依次为Wi，当前tcp连接数依次为Ti，依次去Ti/Wi为最小的RS作为下一个分配的RS
不常见还有：
lblc：基于地址的最小连接数调度（locality-based least-connection）：将来自同一个目的地址的请求分配给同一台RS，此时这台服务器是尚未满负荷的。否则就将这个请求分配给连接数最小的RS，并以它作为下一次分配的首先考虑。
dh：目的地址哈希调度（destination hashing）以目的地址为关键字查找一个静态hash表来获得需要的RS
sh：源地址哈希调度（source hashing）以源地址为关键字查找一个静态hash表来获得需要的RS

7)arp抑制：lvs/dr模式，rs服务器必须配置。

3. LVS操作，实现lvs/dr模式负载均衡

假设服务器如下图所示：

屏幕快照 2018-03-16 21.12.03.png

1）下载ipvsadm管理工具

确认ipvs存在

下载ipvsadm管理工具

2）LVS管理工具安装后，首先添加服务ip和端口，然后添加realserver后端服务

ipvsadm -A -t 192.168.111.188:80 -s rr
ipvsadm -a -t 192.168.111.188:80 -r 192.168.111.130:80 -g -w 2
ipvsadm -a -t 192.168.111.188:80 -r 192.168.111.131:80 -g -w 2

3）一般服务重启后，之前配置的ipvsadm就无效了，所以保存配置方法如下

4）假设使用lvs/dr模式
配置lb服务器vip：

ifconfig eth0:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev eth0:0

配置RS服务器vip：
执行一个预先写好的脚本，参考如下：

#!/bin/bash
# 注意dr模式下VIP必须是相同的值，如案例中的192.168.111.118
VIP=$2
case "$1" in
start)
    ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
    /sbin/route add -host $VIP dev lo:0
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore            
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    sysctl -p >/dev/null 2>&1
    echo ' RealSever Start '
    exit 0
    ;; 
stop)
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore            
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig lo:0 down
    route del  $VIP >/dev/null 2>&1
    ;; 
*)
    echo "Tips:$0{start|stop}"
    ;;
esac

5）在另一台机器上，如图片中的192.168.111.129-backup服务器，同样配置lvs，但是并不设置vip，但是很遗憾，得手动切换，才行，为解决此问题，形成高可用集群，请使用keepalived。

5.keepalived定义

1）keepalived是一个类似于layer3, 4 & 7交换机制的软件，它分别通过ip，port，url三种3，4，7层检查的方式，确认服务器，服务的可用性，动态从集群中增加删除服务器。

6.keepalived相关概念

1）VRRP：虚拟路由冗余协议，keepalived是VRRP技术的完美实现。他的诞生是为了解决路由器单点故障问题

7.lvs+keepalived实现负载均衡的高可用

1）下载安装

2）安装完成后，执行代码，增加keepalived的配置文件

DIR=/usr/local
cp  $DIR/etc/rc.d/init.d/keepalived /etc/rc.d/init.d && \
cp $DIR/etc/sysconfig/keepalived  /etc/sysconfig/  && \
mkdir -p /etc/keepalived && \
cp  $DIR/sbin/keepalived  /usr/sbin
# 在/etc/keepalived/目录下增加keepalived.conf

3）注意1，2步骤，如果使用yum install keepalived 安装方法，这些配置都无需额外操作，更为便捷，推荐yum安装

4）keepalived配置项参考如下

注意到virtual_server中lb_kind选项为DR，说明使用LVS/DR模式，那么后端两台RS服务器（一般提供nginx/httpd），就需要在回环地址lo:0增加一个vip。
参考脚本如下：

#!/bin/bash
# 注意dr模式下VIP必须是相同的值，如案例中的192.168.111.118
VIP=$2
case "$1" in
start)
    ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
    /sbin/route add -host $VIP dev lo:0
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore            
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    sysctl -p >/dev/null 2>&1
    echo ' RealSever Start '
    exit 0
    ;; 
stop)
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore            
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig lo:0 down
    route del  $VIP >/dev/null 2>&1
    ;; 
*)
    echo "Tips:$0{start|stop}"
    ;;
esac

6）测试就好。