LVS:如何用ipvsadm、ldirector实现httpd负载均衡

Cluster概念

系统扩展方式：
  Scale UP：向上扩展,增强
  Scale Out：向外扩展,增加设备，调度分配问题，Cluster
  
Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统**

Linux Cluster类型：
LB：Load Balancing，负载均衡
HA：High Availiablity，高可用，SPOF（single Point Of failure）
	MTBF:Mean Time Between Failure 平均无故障时间
	MTTR:Mean Time To Restoration（ repair）平均恢复前时间
	A=MTBF/（MTBF+MTTR） (0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%
HPC：High-performance computing，高性能 www.top500.org

分布式系统：
  分布式存储：云盘
  分布式计算：hadoop，Spark

Cluster分类

一、LB Cluster的实现

硬件:
F5 Big-IP
Citrix Netscaler
A10 A10

软件:
lvs：    Linux Virtual Server
nginx：  支持七层调度阿里七层SLB使用Tengine 
haproxy：支持七层调度
ats：    apache traffic server(yahoo捐助)
perlbal：Perl编写
pound

二、 基于工作的协议层次划分：

1、传输层（通用）：DPORT(DNAT) 目标地址转换，内网地址被互联网访问

LVS：
nginx：stream
haproxy：mode tcp

2、. 应用层（专用）：针对特定协议，自定义的请求模型分类

proxy server：
	http：nginx, httpd, haproxy(mode http)
	fastcgi：nginx, httpd
	mysql：mysql-proxy

Cluster相关

• 会话保持：负载均衡
  (1) session sticky：同一用户调度固定服务器
  Source IP：LVS sh算法（对某一特定服务而言）
  Cookie
  (2) session replication：每台服务器拥有全部session
  session multicast cluster
  (3) session server：专门的session服务器
  Memcached，Redis

• HA集群实现方案
  keepalived:vrrp协议
  ais:应用接口规范
  heartbeat
  cman+rgmanager(RHCS)
  coresync_pacemaker

LVS介绍

• LVS：Linux Virtual Server，负载调度器，集成内核，章文嵩，阿里SLB目前使用
  官网：http://www.linuxvirtualserver.org/
  VS: Virtual Server，负责调度
  RS: Real Server，负责真正提供服务
  L4：四层路由器或交换机

工作原理：VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS

• iptables/netfilter：
  iptables：用户空间的管理工具
  netfilter：内核空间上的框架
  流入：PREROUTING > INPUT
  流出：OUTPUT > POSTROUTING
  转发：PREROUTING > FORWARD > POSTROUTING
  DNAT：目标地址转换； PREROUTING

lvs集群类型中的术语：

• VS:Virtual Server，Director Server(DS)
  Dispatcher(调度器)，Load Balancer
• RS：Real Server(lvs), upstream server(nginx)
  backend server(haproxy)
• CIP：Client IP
• VIP: Virtual serve IP VS外网的IP
• DIP: Director IP VS内网的IP
• RIP: Real server IP
  访问流程：CIP <> VIP == DIP <> RIP

LVS集群的类型

• lvs: ipvsadm/ipvs
  ipvsadm：用户空间的命令行工具，规则管理器
  用于管理集群服务及RealServer
  ipvs：工作于内核空间netfilter的INPUT钩子上的框架

• lvs集群的类型：
  lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
  lvs-dr：操纵封装新的MAC地址
  lvs-tun：在原请求IP报文之外新加一个IP首部
  lvs-fullnat：修改请求报文的源和目标IP

VS-NAT模式

改IP或端口号 Destination Network Address Translation

• 只要访问VIP80端口，未到达INPUR时，直接调度到对应RS：port上
• 本质是多目标IP的（iptables）DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发

（1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
（2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
（3）支持端口映射，可修改请求报文的目标PORT
（4）VS必须是Linux系统，RS可以是任意OS系统

开启forward转发
vim /etc/sysctl.conf
	net.ipv4.ip_forward=1
sysctl -p 
sysctl -a |grep ip_ford

LVS-DR模式

目标地址IP不变改mac

• Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变(LVS广播通过RIP保存MAC地址）
• RS拥有两个地址RIP和VIP，RIP绑定eth0网卡，VIP绑定lo回环网卡即可。
• 不需开启FORWARD转发功能，在传输层之下基于mac地址，NAT模式需开启forward转发

（1） Director和各RS都配置有VIP（*重要）

（2） 确保前端路由器将目标IP为VIP的请求报文发往Director
在前端网关做静态绑定VIP和Director的MAC地址
- 在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP

- 在RS上修改内核参数以限制arp通告及应答级别
/proc/sys/net/ipv4/conf/all/arp_ignore         选1
 0：默认值：可使用本地任意接口上配置的任意地址进行相应
 1：仅在请求的目标IP配置在本地主机的接收到的请求报文的接口上时，才给予相应
/proc/sys/net/ipv4/conf/all/arp_announce        选2
 0：默认值，把本机所有接口的所有信息向每个接口的网络进行通告
 1：尽量避免将接口信息向非直接连接网络进行通告
 2：必须避免将接口信息向非本网络进行通告
修改all和lo中的arp_ignore和arp_annpunce值分别为1和2

（3）RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director

（4）RS和Director要在同一个物理网络 （相互广播知道互相的mac地址）

（5）请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client

（6）不支持端口映射（端口不能修改）

（7）RS可使用大多数OS系统

LVS-TUN模式：ip添加IP首部

• 转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP变为DIP，目标IP变为RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）

(1) DIP, VIP, RIP都应该是公网地址（或走专线）
(2) RS的网关一般不能指向DIP（指向中间隔的路由器地址）
(3) 请求报文要经由Director，但响应不能经由Director
(4) 不支持端口映射
(5) RS的OS须支持隧道功能
 
 通常DR和RS异地情况下使用

LVS-fullnat模式: 默认kernel不支持

• 通过同时修改请求报文的源IP地址和目标IP地址进行转发
  CIP > DIP，VIP > RIP

(1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP
(2) RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client
(3) 请求和响应报文都经由Director
(4) 支持端口映射
注意：此类型kernel默认不支持

通常DS和RS在异地情况下使用此种方式 

总结：

1. **lvs-nat与lvs-fullnat：**请求和响应报文都经由Director
   lvs-nat：RIP的网关要指向DIP
   lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信

2. **lvs-dr与lvs-tun：**请求报文要经由Director，但响应报文由RS直接发往Client
   lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发
   lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

ipvs scheduler

ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态

两种：静态方法和动态方法

• 静态方法：仅根据算法本身进行调度

1、RR：roundrobin，轮询

2、WRR：Weighted RR，加权轮询

3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定

4、DH：Destination Hashing；目标地址哈希，将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：客户想看优酷视频-（宽带运营商）--缓存（varnish)--优酷

• 动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value 较小的RS将被调度 （计算overhead值）

1、LC：least connections 适用于长连接应用
Overhead=activeconns*256+inactiveconns（活动*256+非活动链接）
  活动链接（三次握手后有报文传输） 非活动链接（三次握手后没有报文传输）

2、WLC：Weighted LC 默认调度方法 权重高的优先连接，没有初始连接不适用，可能权重低的先被分配
Overhead=(activeconns*256+inactiveconns)/weight

3、SED：Shortest Expection Delay 初始连接高的优先，权重相差大的，权重高总被连接
Overhead=(activeconns+1)*256/weight

4、NQ：Never Queue，第一轮均匀分配，后续SED。相当于让你慢慢加班，就适应了。平滑过渡

5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理。客户又想看优酷了，可是别的varnish上没有缓存数据，所以用LBLCR出现了

6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

LVS配置工具ipvsadmipvsadm/ipvs

因ipvs潜伏在input链前面，所以通过

/boot/config- 文件可看IPVS是通过模块提供，支持的协议，还有10种算法

grep -i -C 10 "ipvs" /boot/config-3.10.0-862.el7.x86_64

[root@master ~]#grep -i -C 10 "ipvs" /boot/config-3.10.0-862.el7.x86_64 
...
CONFIG_NETFILTER_XT_MATCH_IPVS=m
...
#
# IPVS transport protocol load balancing support
#
CONFIG_IP_VS_PROTO_TCP=y
CONFIG_IP_VS_PROTO_UDP=y
CONFIG_IP_VS_PROTO_AH_ESP=y
CONFIG_IP_VS_PROTO_ESP=y
CONFIG_IP_VS_PROTO_AH=y
CONFIG_IP_VS_PROTO_SCTP=y
#
# IPVS scheduler
#
CONFIG_IP_VS_RR=m    
CONFIG_IP_VS_WRR=m
CONFIG_IP_VS_LC=m
CONFIG_IP_VS_WLC=m
CONFIG_IP_VS_LBLC=m
CONFIG_IP_VS_LBLCR=m
CONFIG_IP_VS_DH=m
CONFIG_IP_VS_SH=m
CONFIG_IP_VS_SED=m
CONFIG_IP_VS_NQ=m

支持的协议：TCP， UDP， AH， ESP， AH_ESP, SCTP

ipvsadm选项：

rpm -ql ipvsadm
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config

选项：
ipvsadm -A|E -t|u|f service-address [-s scheduler][-p [timeout]] [-M netmask][--pe persistence_engine] [-b sched-flags]  A增加 E修改
ipvsadm -A 增加
ipvsadm -E 
ipvsadm -D -t|u|f service-address 删除
ipvsadm –C 清空
ipvsadm –R 重载
ipvsadm -S [-n] 保存
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -Z [-t|u|f service-address]  清空计数器
ipvsadm -Ln	查看
	--numeric, -n：以数字形式输出地址和端口号
	--exact：扩展信息，精确值
	--connection，-c：当前IPVS连接输出
	--stats：统计信息
	--rate ：输出速率信息

注意：iptables和ipvsadm选项顺序不能错
iptables -nvL
ipvsadm -Ln

创建规则和连接保存路径/etc/sysconfig/ipvsadm

保存：建议保存至/etc/sysconfig/ipvsadm
	ipvsadm-save > /PATH/TO/IPVSADM_FILE
	ipvsadm -S > /PATH/TO/IPVSADM_FILE
	systemctl stop ipvsadm.service
重载：
	ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
	ipvsadm -R < /PATH/FROM/IPVSADM_FILE
	systemctl restart ipvsadm.service

运行内存中：
ipvs规则：/proc/net/ip_vs
ipvs连接：/proc/net/ip_vs_conn
原理：
[root@lvs ~]#rpm -ql ipvsadm
[root@lvs ~]#cat /usr/lib/systemd/system/ipvsadm.service
...
[Service]
Type=oneshot
ExecStart=/bin/bash -c "exec /sbin/ipvsadm-restore < /etc/sysconfig/ipvsadm" 
ExecStop=/bin/bash -c "exec /sbin/ipvsadm-save -n > /etc/sysconfig/ipvsadm"
...

管理集群服务：增、改、删选项:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
ipvsadm -D -t|u|f service-address

-A：增 -E：改
-D：删
-t: TCP协议的端口，VIP:TCP_PORT
-u: UDP协议的端口，VIP:UDP_PORT
-f：firewall MARK，标记，一个数字
[-s scheduler]：指定集群的调度算法

管理集群上的RS：增、改、删选项：

ipvsadm -a|e -t|u|f service-address -r RS-address [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r RS-address

rip[:port] 如省略port，不作端口映射
lvs类型：
-g: gateway, dr类型，默认
-i: ipip, tun类型
-m: masquerade, nat类型
-w weight：权重，默认为wlc

实验环境搭建：

NAT模型：

一、NAT模型实现http负载均衡群：

规划网络注意事项：
1.ROUTER添加路由 
route add -net 192.168.31.0/24 gw 10.0.0.100
2.LVS添加路由
ip route add 192.168.32.0/16 via 10.0.0.254	

LVS：
创建集群规则：rr轮询
ipvsadm -A -t 192.168.31.123:80 -s rr 
添加RS到集群中
ipvsadm -a t 192.168.31.123:80 -r 192.168.32.7:80 -m
ipvsadm -a t 192.168.31.123:8080 -r 192.168.32.17:8080 -m
client访问192.168.31.123查看是否成功


删除RS从集群中
ipvsadm -d -t 192.168.31.123:80 -r 192.168.32.17:8080
修改集群规则：wrr权重轮询
ipvsadm -E -t 192.168.31.123:80 -s wrr
修改RS的权重
ipvsadm -e -t 192.168.31.123:80 -r 192.168.32.17:8080 -m -w 3
client访问192.168.31.123查看是否3:1访问，是否修改成功


修改集群规则：wlc  (默认，所以不用-s wlc)
ipvsadm -E -t 192.168.31.123:80
修改集群规则：sh  
ipvsadm -E -t 192.168.31.123:80 -s sh 
client访问查看是否成功，源地址则一直应该是一台就对了

二、NAT模型实现https负载均衡群

RS1和RS2：
yum install mod_ssl -y
systemctl restart httpd

LVS:
ipvsadm -A -t 172.20.0.123:443 -s rr
ipvsadm -a -t 192.168.31.123:443 -r 192.168.32.7
ipvsadm -a -t 192.168.31.123:443 -r 192.168.32.17

DR模型：

一、DR模型实现http负载均衡群

规划网络注意事项：

一、ROUTER: 注意开启转发
vim /etc/sysctl.conf
	net.ipv4.ip_forward=1
sysctl -a |grep if_f

二、注意各路网关

三、不支持端口映射，RS必须listen80


注意生产中要写到配置文件中！

实验RS端配置脚本：

#!/bin/bash
#Author:dushan
#Date:2019-02-24
vip=10.0.0.100                
mask='255.255.255.255'
dev=lo:1
rpm -q httpd &> /dev/null || yum -y install httpd &>/dev/null
service httpd start &> /dev/null && echo "The httpd Server is Ready!"
echo "
`hostname`
" > /var/www/html/index.html

case $1 in
start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig $dev $vip netmask $mask #broadcast $vip up
    #route add -host $vip dev $dev
    echo "The RS Server is Ready!"
    ;;
stop)
    ifconfig $dev down
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo "The RS Server is Canceled!"
    ;;
*) 
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac

[root@rs1 ~]#bash lvs_dr_rs.sh start

实验VS端配置脚本：

#!/bin/bash
#Author:wangxiaochun
#Date:2017-08-13
vip='10.0.0.100'
iface='lo:1'
mask='255.255.255.255'
port='80'
rs1='192.168.32.7'
rs2='192.168.32.17'
scheduler='wrr'
type='-g'
rpm -q ipvsadm &> /dev/null || yum -y install ipvsadm &> /dev/null

case $1 in
start)
    ifconfig $iface $vip netmask $mask #broadcast $vip up
    iptables -F
 
    ipvsadm -A -t ${vip}:${port} -s $scheduler
    ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
    ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
    echo "The VS Server is Ready!"
    ;;
stop)
    ipvsadm -C
    ifconfig $iface down
    echo "The VS Server is Canceled!"
    ;;
*)
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac

测试：
http:
while true;do curl http://10.0.0.100;sleep 0.5;done 

二、DR模型实现https负载均衡群

1.RS:yum install mod_ssl 
2.更改脚本端口号443 执行脚本即可）
3.若想和80端两个集群一起跑则手敲一遍80规则
	ipvsadm -A -t 10.0.0.100:80 -s rr
	ipvsadm -a -t 10.0.0.100:80 -r 192.168.32.7
	ipvsadm -a -t 10.0.0.100:80 -r 192.168.32.17
注意：生产中RS都要提供同一个公钥和同一个证书，生成一份复制到所有SERVER上

测试：
while true;do curl -k https://10.0.0.100;sleep 0.5;done

三、DR模型实现mysql负载均衡集群

更改端口号3306

FWM:FireWall Mark

• MARK target 可用于给特定的报文打标记

  • –set-mark value
  • 其中：value 可为0xffff格式，表示十六进制数字

• 借助于防火墙标记来分类报文，而后基于标记定义集群服务；可将多个不同的应用使用同一个集群服务进行调度,实现方法：

  • 在Director主机打标记：
    iptables -t mangle -A PREROUTING -d $vip -p $proto –m multiport --dports $port1,$port2,… -j MARK --set-mark NUMBER

  • 在Director主机基于标记定义集群服务：
    ipvsadm -A -f NUMBER [options]

创建标签
iptables -t mangle -A PREROUTING -d 10.0.0.100 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 10
查询标签
iptables -t mangle -nVL (Mark set 0xa,十六进制表示10)

ipvsadm -A -f 10 -s rr
ipvsadm -a -f 10 -r 192.168.32.7 -g
ipvsadm -a -f 10 -r 192.168.32.17 -g

测试：
while true;do curl -k https://10.0.0.100;curl http://10.0.0.100;sleep 0.5;done

持久连接

• session 绑定：对共享同一组RS的多个集群服务，需要统一进行绑定，lvs sh算法无法实现

• 持久连接#（ lvs persistence ）模板：实现无论使用任何调度算法，在一段时间内（默认360s ），能够实现将来自同一个地址的请求始终发往同一个RS

  ipvsadm -A|E -t|u|f service-address [-s scheduler][-p [timeout]
  

• 持久连接实现方式：

  • 每端口持久（PPC）：每个端口定义为一个集群服务，每集群服务单独调度
  • 每防火墙标记持久（PFWMC）：基于防火墙标记定义集群服务；可实现将多个端口上的应用统一调度，即所谓的port Affinity
  • 每客户端持久（PCC）：基于0端口（表示所有服务）定义集群服务，即将客户端对所有应用的请求都调度至后端主机，必须定义为持久模式 (真实环境一般不用，全部暴露)

ipvsadm -E -f 10 -s rr -p  默认360秒

LVS高可用性

• Director不可用，整个系统将不可用；SPoF Single Point of Failure
  解决方案：高可用
  keepalived heartbeat/corosync
• 某RS不可用时，Director依然会调度请求至此RS
  • 解决方案： 由Director对各RS健康状态进行检查，失败时禁用，成功时启用
    keepalived heartbeat/corosync ldirectord
  • 检测方式：
    (a) 网络层检测，icmp（基于ping检查）
    (b) 传输层检测，端口探测 （基于服务检查）
    © 应用层检测，请求某关键资源（基于访问网页检查）
    RS全不可用时：backup server, sorry server（临时充当httpserver)

拓展：
如用脚本去除，思路为：测试连接如失败则自动去除故障RS，每5秒执行一次 
curl http://192.168.32.17 &> /dev/null ||ipvsadm -d -f 10 -r 192.168.32.17 

ldirectord

• ldirectord：监控和控制LVS守护进程，可管理LVS规则

• 包名：ldirectord-3.9.6-0rc1.1.1.x86_64.rpm

• 下载：http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/CentOS_CentOS-7/x86_64/

• 文件：

  /etc/ha.d/ldirectord.cf 主配置文件
  /usr/share/doc/ldirectord-3.9.6/ldirectord.cf 配置模版
  /usr/lib/systemd/system/ldirectord.service 服务
  /usr/sbin/ldirectord 主程序,Perl实现
  /var/log/ldirectord.log 日志
  /var/run/ldirectord.ldirectord.pid pid文件
  

• ldirectord配置文件示例:

  checktimeout=3		检查时间超时时长
  checkinterval=1		几秒检查一次
  autoreload=yes		自动加载
  logfile=“/var/log/ldirectord.log“	#日志文件
  quiescent=no		#down时yes权重为0，no为删除
  virtual=10 			#指定VS的FWM或IP：port 
  real=192.168.32.7:80 gate 2
  real=192.168.32.17:80 gate 1
  fallback=127.0.0.1:80 gate 		#sorry server
  service=http
  scheduler=wrr
  checktype=negotiate
  checkport=80
  request="index.html"	检查文件
  receive=“Test Ldirectord"	检查关键字
  

[root@lvs ~]#yum install ldirectord
[root@lvs ~]#rpm -ql ldirectord
/etc/ha.d
/etc/ha.d/resource.d
/etc/ha.d/resource.d/ldirectord
/etc/logrotate.d/ldirectord
/usr/lib/ocf/resource.d/heartbeat/ldirectord
/usr/lib/systemd/system/ldirectord.service
/usr/sbin/ldirectord
/usr/share/doc/ldirectord-3.9.6
/usr/share/doc/ldirectord-3.9.6/COPYING
/usr/share/doc/ldirectord-3.9.6/ldirectord.cf
/usr/share/man/man8/ldirectord.8.gz
[root@lvs ~]#cp /usr/share/doc/ldirectord-3.9.6/ldirectord.cf /etc/ha.d/
[root@lvs ~]#cat /etc/ha.d/ldirectord.cf 
checktimeout=3
checkinterval=1
autoreload=yes
logfile="/var/log/ldirectord.log"
quiescent=yes
virtual=10.0.0.100:80
        real=192.168.32.7:80 gate
        real=192.168.32.17:80 gate
        fallback=127.0.0.1:80 gate
        service=http
        scheduler=rr
        #persistent=600
        #netmask=255.255.255.255
        protocol=tcp                   用标签时去除protocol协议
        checktype=negotiate
        checkport=80
        request="index.html"
        receive="RS"
[root@lvs ~]#systemctl start ldirectord
[root@lvs ~]#vim /var/www/html/index.html
	SORRY SERVER
测试：
[root@dudou ~]#while true;do curl http://10.0.0.100;sleep 0.5;done