Linux服务篇--企业级调度器LVS

本章概要

• 集群Cluster概念
• LVS简介
• LVS模型
• LVS调度算法
• LVS实现
• ldirectord

1、集群概念

Cluster概念

• 系统扩展方式：
    Scale UP：向上扩展,增强
    Scale Out：向外扩展,增加设备，调度分配问题，Cluster
• Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统
• Linux Cluster类型：
    LB：Load Balancing，负载均衡
    HA：High Availiablity，高可用，SPOF（single Point Of failure）
      MTBF:Mean Time Between Failure 平均无故障时间
      MTTR:Mean Time To Restoration（ repair）平均恢复前时间
      A=MTBF/（MTBF+MTTR） (0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%
    HPC：High-performance computing，高性能 www.top500.org
• 分布式系统：
    分布式存储：云盘
    分布式计算：hadoop，Spark
  注意：负载均衡和高可用性是两种不同技术，解决问题的出发点不同，负载均衡在于提升系统性能，高可用性在于解决系统的可用性，二者不能混为一谈

Cluster分类

• LB Cluster的实现
  硬件
    F5 Big-IP
    Citrix Netscaler
    A10 A10
  F5设备如下图所示：
  

软件
  lvs：Linux Virtual Server
  nginx：支持七层调度，阿里七层SLB使用Tengine
  haproxy：支持七层调度
  ats：apache traffic server，yahoo捐助
  perlbal：Perl 编写
  pound

• 基于工作的协议层次划分：
  传输层（通用）：DPORT
    LVS：
    nginx：stream
    haproxy：mode tcp
    传输层以下的调度，即下四层调度，无法识别应用层报文和协议，因此无法对应用实现调度。基于传输层以下协议层，速度快，只能根据ip地址和端口转发数据，无法识别应用层数据
  应用层（专用）：针对特定协议，自定义的请求模型分类
    proxy server：
    http：nginx, httpd, haproxy(mode http), …
    fastcgi：nginx, httpd, …
    mysql：mysql-proxy, …
    基于七层协议解析，需要解封装和封装的过程，性能稍差，但能够识别应用层数据

Cluster相关

• 会话保持：负载均衡
    (1) session sticky：根据源ip地址判断，同一用户调度固定服务器
      Source IP：LVS sh算法（对某一特定服务而言），绑定源ip地址，进行hash运算
      Cookie：保存用户信息，该用户下次访问时，调度到同一个服务器
    (2) session replication：每台服务器拥有全部session
      session multicast cluster：多播会话集群
      把用户访问的会话信息，如cookie信息复制到全部的服务器，使得全部服务器拥有用户访问某台服务器的信息，可以把用户调度到任一服务器上，但这样造成了数据的大量冗余，数据的复制也消耗内存资源，因此不适合大规模场景，只能在小规模环境中使用
    (3) session server：专门的session服务器
      设置专门的session服务器存储会话信息，根据会话服务器的对应关系，调度用户请求到服务器，但这需要专门的应用服务器实现，如Memcached，Redis
• HA集群实现方案
    keepalived:vrrp协议
      实现LVS的高可用性，防止LVS出现单点失败，造成全局性的重大损失。动态的ip地址，实现ip地址飘动，一旦LVS出现故障，自动把ip地址转移到备用LVS服务器上
    ais:应用接口规范
      heartbeat
      cman+rgmanager(RHCS)
      coresync_pacemaker

2、LVS简介

LVS介绍

• LVS：Linux Virtual Server，负载调度器，集成内核，章文嵩，阿里SLB目前使用
    官网：http://www.linuxvirtualserver.org/
    VS: Virtual Server，负责调度
    RS: Real Server，负责真正提供服务
    L4：四层路由器或交换机
• 工作原理：VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS
• iptables/netfilter：
    iptables：用户空间的管理工具
    netfilter：内核空间上的框架
    流入：PREROUTING --> INPUT
    流出：OUTPUT --> POSTROUTING
    转发：PREROUTING --> FORWARD --> POSTROUTING
    DNAT：目标地址转换； PREROUTING

LVS集群体系结构

LVS概念

• lvs集群类型中的术语：
    VS：Virtual Server，Director Server(DS)，Dispatcher(调度器)，Load Balancer 调度器
    RS：Real Server(lvs), upstream server(nginx)，backend server(haproxy) 真正提供服务的服务器
    CIP：Client IP 客户端IP
    VIP: Virtual serve IP 前端调度器的ip地址，针对外网的IP地址：VIP，一般是公网地址
    DIP: Director IP 前端调度器的ip地址，针对内网的IP地址：DIP，一般是私网地址
    RIP: Real server IP 提供真正服务的服务器RS的IP地址，一般是私网地址
    访问流程：CIP <–> VIP == DIP <–> RIP
  注意：保证访问到任何一个服务器上数据一致，需要把数据不在本地保存，而是让所有服务器使用一个共享存储，把服务器存储数据的目录挂载到共享存储，把数据保存到共享存储中

3、LVS类型

lvs集群的类型

• lvs: ipvsadm/ipvs
    ipvsadm：用户空间的命令行工具，规则管理器
      用于管理集群服务及RealServer
    ipvs：工作于内核空间netfilter的INPUT钩子上的框架
• lvs集群的类型：
    lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
    lvs-dr：操纵封装新的MAC地址
    lvs-tun：在原请求IP报文之外新加一个IP首部
    lvs-fullnat：修改请求报文的源和目标IP

lvs-nat模式

• lvs-nat：
  NAT模式IP包调度过程：

(1)客户端向web服务器发出请求报文，报文中源ip地址为CIP，目标地址为VIP  
(2)经过路由器转发，达到LVS调度器，通过PREROUTING链，经过路由表检测，发现目标地址为本机IP地址，发送给INPUT链。
而lvs模块工作在INPUT链之前，把该报文截获下来，把报文中目的地址转换为RIP，把80端口变为映射的Real Server端口号如8080，源ip地址CIP不变，并强制转发给POSTROUTING链发送给Real Server  
(3)Real Server接收到报文后解封装报文接受请求，并回复响应报文，报文中源ip地址为本机地址RIP，目的地址为客户端地址CIP，发送给LVS  
(4)LVS调度器接收到报文后，经过SNAT转换把RIP转换为VIP，把映射端口8080变为映射前的80端口，目的地址CIP不变，把报文转发给客户端，这样客户端就获取到了web服务器的数据  
注意：做实验时，要禁用iptables和firewall  

本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
（1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
（2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
（3）支持端口映射，可修改请求报文的目标PORT
（4）VS必须是Linux系统，RS可以是任意OS系统

• VS/NAT的体系结构
  

• NAT模式IP包调度过程
  

• NAT模式
  

lvs-dr模式

• LVS-DR：
  DR模型IP包调度过程：

DR模型配置时，需要把VIP地址绑定在LVS调度器以及每个Real Server上
为了防止VIP地址冲突，在Real Server上把VIP绑定在lo环回网卡上，修改内核参数让VIP不响应外部arp广播包以及不对外宣称自己拥有VIP
LVS调度器上可以把VIP和DIP绑定在一个网卡上
LVS调度器和RS服务器必须处于同一网段，否则无法通过arp广播获取RS服务器的mac地址
RS服务器需要配置两个网段：内网(RIP)和外网(VIP)

(1)客户端向web服务器发送请求，请求报文中源地址为CIP，目标地址为VIP，源mac地址为客户端mac地址，目标mac地址为转发路由器mac地址
(2)当请求报文到达转发路由器时，路由器发送arp广播以获取VIP对应的mac地址，此时由于Real Server上的VIP设置为静默模式，只有LVS调度器上的VIP响应此arp广播，因此此请求报文转发给LVS调度器
(3)请求报文在LVS调度器经过PREROUTING链，到达INPUT链之前，被IPVS模块获取，如果请求报文请求的是集群服务，则把请求报文中的源MAC地址由客户端MAC地址更改为DIP的mac地址，把目标mac由VIP mac地址更改为RIP mac地址，而源ip地址和目标ip地址不变，转发给POSTROUTING链。
(4)由于LVS调度器和Real Server处于同一网络，因此可以通过mac地址通讯，LVS调度器根据本地调度列表，发送arp广播，请求获取Real Server的RIP地址
此时，Real Server上的VIP处于静默模式，但并不影响RIP所在网卡做出响应，LVS调度器根据获取到的Real Server响应的mac地址把请求报文转发给对应的Real Server，Real Server发现接收请求报文解封装，发现目标mac地址为自己的mac地址，因此接收请求并回复响应报文。
(5)由于请求报文中的源ip地址为VIP，而Real Server本地lo网卡存在VIP地址，因此响应报文中源ip地址为VIP地址，目标ip地址为CIP，源mac地址为Real Server的mac地址，目标mac地址为转发路由器的mac地址
(6)转发路由器接收到响应报文解封装，发现源目标ip地址为CIP，就把响应报文转发给CIP，此时报文中ip地址不变，源mac地址为转发路由器的mac地址，目标mac地址为客户端的mac地址
(7)最后，客户端接收响应报文，完成数据交换

LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变
（1） Director和各RS都配置有VIP
（2） 确保前端路由器将目标IP为VIP的请求报文发往Director
  在前端网关做静态绑定VIP和Director的MAC地址
  在RS上使用arptables工具
    arptables -A IN -d $VIP -j DROP
    arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
  在RS上修改内核参数以限制arp通告及应答级别
    /proc/sys/net/ipv4/conf/all/arp_ignore
    /proc/sys/net/ipv4/conf/all/arp_announce
（3）RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
（4）RS和Director要在同一个物理网络
（5）请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
（6）不支持端口映射（端口不能修败）
（7）RS可使用大多数OS系统

• VS/DR体系结构
  

• DR模式IP包调度过程
  

• DR模式
  

知识回顾：

ip地址冲突的原理：
	查询其他主机是否拥有某ip地址
	首先查询本地缓存的ip和mac地址对应关系表
	如果存在，直接返回结果
		解决方法1：在arp表中直接把VIP和mac地址绑定(不推荐使用)
		缺点：一旦lvs服务器出现故障，无法自动启用备用的lvs服务器，需要手动进行配置，而且还需要对路由器进行配置，操作起来不方便
 	如果不存在则对全网发送arp广播，询问其他主机是否拥有此ip地址，而拥有此ip地址的主机则会做出响应，声明自己拥有此ip地址，这样就会造成ip地址冲突
	另外，在配置IP地址之后，将会自动发送一个免得arp请求，向外宣称自己拥有此VIP地址，这样一来也会造成地址冲突
		解决方法2：不响应询问是否拥有VIP地址的广播包
 				  不对外宣称自己拥有VIP地址
	因此，以上就是避免地址冲突的两种解决方案，但推荐使用第二种解决方案

使用第二种解决方案，需要在Real Server上更改以下内核参数
    /proc/sys/net/ipv4/conf/all/arp_ignore   值更改为1
    /proc/sys/net/ipv4/conf/lo/arp_ignore    值更改为1
    /proc/sys/net/ipv4/conf/all/arp_announce  值更改为2
    /proc/sys/net/ipv4/conf/lo/arp_announce   值更改为2
为了防止出现地址冲突，需要把VIP和RIP的地址设置在不同的网卡上，即把VIP绑定在本地环回网卡lo上，而RIP设置在其他网卡(如ens33)上
只更改数据链路层的mac地址
lvs服务器和RS服务之间必须是交换机，不能使路由器，因为lvs服务器和RS服务器之间需要通过arp广播获取RS服务器的mac地址

lvs-tun模式

• lvs-tun：
  tun模型IP包调度过程：

在Real Server上绑定VIP地址，为了实现能够从Real Server直接回复响应报文给客户端，因此需要把VIP地址与每一个Real Server进行绑定，类似于lvs-dr模型
(1)客户端向web服务器发出请求报文，报文中源ip地址为CIP，目标地址为VIP
(2)经过路由器转发，达到LVS调度器，通过PREROUTING链，经过路由表检测，发现目标地址为本机IP地址，发送给INPUT链.
而lvs模块工作在INPUT链之前，把该报文截获下来，在请求报文之外再次封装一个IP报文头部，源ip地址为DIP，目的ip地址为RIP，并强制发送给POSTROUTING链转发出去
(3)经过传输，Real Server接收该报文后进行解封装，发现还有一个ip报文头部，报文中的目标ip地址是自己lo网卡的VIP地址，开始回复响应报文
(4)由于请求报文中的目的地址为VIP，而本地lo网卡为VIP地址，所以响应报文中的源ip地址为VIP，目标地址为CIP回复响应报文，通过路由转发到达客户端
(5)客户端接收响应报文，完成数据交换

转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）
(1) DIP, VIP, RIP都应该是公网地址
(2) RS的网关一般不能指向DIP
(3) 请求报文要经由Director，但响应不经由Director
(4) 不支持端口映射
(5) RS的OS须支持隧道功能

• VS/TUN体系结构
  

• TUN模式IP包调度过程
  

lvs-fullnat模式

• lvs-fullnat：通过同时修改请求报文的源IP地址和目标IP地址进行转发
      CIP --> DIP
      VIP --> RIP
  (1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP
  (2) RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client
  (3) 请求和响应报文都经由Director
  (4) 支持端口映射
  注意：此类型kernel默认不支持

LVS工作模式总结

	VS/NAT	VS/TUN	VS/DR
Server	any	Tunneling	Non-arp device
server network	private	LAN/WAN	LAN
server number	low(10-20)	High(100)	High(100)
server gateway	load balancer	own router	Own router

• lvs-nat与lvs-fullnat：请求和响应报文都经由Director
  lvs-nat：RIP的网关要指向DIP
  lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信
• lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client
  lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发
  lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

4、LVS调度算法

ipvs scheduler

• ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态
    两种：静态方法和动态方法
• 静态方法：仅根据算法本身进行调度，即只考虑自己的需求，不关心RS服务器的承载状态和能力
  1、RR：roundrobin，轮询
    从第一台到最后一台顺序执行，执行一遍以后，再次从头开始
  2、WRR：Weighted RR，加权轮询
    加权轮询，定义权重值，根据权重进行分配，权重越高，分配访问量越多，权重可以使用较大的值进行分配，可以更细化分配权重值
  3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定
  4、DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商
• 动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value， 较小的RS将被调度
  1、LC：least connections 适用于长连接应用
    Overhead=activeconns*256+inactiveconns
    缺点：没有对服务器性能进行考虑
  2、WLC：Weighted LC，默认调度方法
    Overhead=(activeconns*256+inactiveconns)/weight
    加上权重,权重越小,负载越低,优先调度 系统默认算法
    缺点：刚上线的服务器，没有连接数，算出的权重值为0，体现不出权重的用处
  3、SED：Shortest Expection Delay,初始连接高权重优先
    Overhead=(activeconns+1)*256/weight
    缺点：如果权重值差别很大，如1和10，仍然存在不公平现象
  4、NQ：Never Queue，第一轮均匀分配，后续SED
  5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理
  6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

ipvs

• ipvsadm/ipvs：
• ipvs：
  grep -i -C 10 “ipvs” /boot/config-VERSION-RELEASE.x86_64
  支持的协议：TCP， UDP， AH， ESP， AH_ESP, SCTP
• ipvs集群：
  管理集群服务
  管理服务上的RS

ipvsadm包构成

• ipvsadm：
• 程序包：ipvsadm
    Unit File: ipvsadm.service
    主程序：/usr/sbin/ipvsadm
    规则保存工具：/usr/sbin/ipvsadm-save
    规则重载工具：/usr/sbin/ipvsadm-restore
    配置文件：/etc/sysconfig/ipvsadm-config

ipvsadm命令

• ipvsadm命令：

• 核心功能：
    集群服务管理：增、删、改
    集群服务的RS管理：增、删、改
    查看
  ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [–pe persistence_engine] [-b sched-flags]
  ipvsadm -D -t|u|f service-address 删除
  ipvsadm –C 清空
  ipvsadm –R 重载
  ipvsadm -S [-n] 保存
  ipvsadm -a|e -t|u|f service-address -r server-address [options]
  ipvsadm -d -t|u|f service-address -r server-address
  ipvsadm -L|l [options]
  ipvsadm -Z [-t|u|f service-address]

• 管理集群服务：增、改、删

• 增、改：
    ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

• 删除：
    ipvsadm -D -t|u|f service-address

• service-address：
    -t|u|f：
      -t: TCP协议的端口，VIP:TCP_PORT
      -u: UDP协议的端口，VIP:UDP_PORT
      -f：firewall MARK，标记，一个数字

• [-s scheduler]：指定集群的调度算法，默认为wlc

• 管理集群上的RS：增、改、删

• 增、改：ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

• 删：ipvsadm -d -t|u|f service-address -r server-address

• server-address：
    rip[:port] 如省略port，不作端口映射

• 选项：
    lvs类型：
      -g: gateway, dr类型，默认
      -i: ipip, tun类型
      -m: masquerade, nat类型
    -w weight：权重

• 清空定义的所有内容：ipvsadm –C

• 清空计数器：ipvsadm -Z [-t|u|f service-address]

• 查看：ipvsadm -L|l [options]
      --numeric, -n：以数字形式输出地址和端口号
      --exact：扩展信息，精确值
      --connection，-c：当前IPVS连接输出
      --stats：统计信息
      --rate ：输出速率信息

• ipvs规则：/proc/net/ip_vs

• ipvs连接：/proc/net/ip_vs_conn

保存及重载规则

• 保存：建议保存至/etc/sysconfig/ipvsadm
    ipvsadm-save > /PATH/TO/IPVSADM_FILE
    ipvsadm -S > /PATH/TO/IPVSADM_FILE
    systemctl stop ipvsadm.service
• 重载：
    ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
    ipvsadm -R < /PATH/FROM/IPVSADM_FILE
    systemctl restart ipvsadm.service

知识扩展：

查看ipvsadm的service文件，发现启动ipvsadm服务就是读取/etc/sysconfig/ipvsadm文件中的规则
[root@lvs yum.repos.d]# cat /usr/lib/systemd/system/ipvsadm.service
[Unit]
Description=Initialise the Linux Virtual Server
After=syslog.target network.target

[Service]
Type=oneshot
ExecStart=/bin/bash -c "exec /sbin/ipvsadm-restore < /etc/sysconfig/ipvsadm"   启动ipvsadm服务就是读取/etc/sysconfig/ipvsadm文件中的规则
ExecStop=/bin/bash -c "exec /sbin/ipvsadm-save -n > /etc/sysconfig/ipvsadm"
ExecStop=/sbin/ipvsadm -C
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target

ipvsadm-save -n > /etc/sysconfig/ipvsadm   保存规则
ipvsadm-restore < /etc/sysconfig/ipvsadm   导入规则

因此，把ipvsadm服务设置为开机自启动，该服务启动后会自动读取保存到/etc/sysconfig/ipvsadm文件中的调度规则，只需保存调度规则到/etc/sysconfig/ipvsadm文件，并把ipvsadm服务设置为开机自启动即可
ipvsadm-save -n > /etc/sysconfig/ipvsadm
systemctl enable ipvsadm.service

5、LVS实现

LVS

• 负载均衡集群设计时要注意的问题
  (1) 是否需要会话保持
  (2) 是否需要共享存储
    共享存储：NAS， SAN， DS（分布式存储）
    数据同步：
• lvs-nat：
  设计要点：
  (1) RIP与DIP在同一IP网络, RIP的网关要指向DIP
  (2) 支持端口映射
  (3) Director要打开核心转发功能

LVS-DR

• DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种：
  (1) 在前端网关做静态绑定
  (2) 在各RS使用arptables
  (3) 在各RS修改内核参数，来限制arp响应和通告的级别

• 限制响应级别：arp_ignore
  0：默认值，表示可使用本地任意接口上配置的任意地址进行响应
  1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应

• 限制通告级别：arp_announce
  0：默认值，把本机所有接口的所有信息向每个接口的网络进行通告
  1：尽量避免将接口信息向非直接连接网络进行通告
  2：必须避免将接口信息向非本网络进行通告

• RS的配置脚本

vim lvs_dr_rs.sh
#!/bin/bash
#Author:wangxiaochun
#Date:2017-08-13
vip=10.0.0.100
mask='255.255.255.255'
dev=lo:1
rpm -q httpd &> /dev/null || yum -y install httpd &>/dev/null
service httpd start &> /dev/null && echo "The httpd Server is Ready!"
echo "
`hostname`
" > /var/www/html/index.html

case $1 in
start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig $dev $vip netmask $mask #broadcast $vip up
    #route add -host $vip dev $dev
    echo "The RS Server is Ready!"
    ;;
stop)
    ifconfig $dev down
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo "The RS Server is Canceled!"
    ;;
*) 
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac

• VS的配置脚本

vim lvs_dr_vs.sh
#!/bin/bash
#Author:wangxiaochun
#Date:2017-08-13
vip='10.0.0.100'
iface='lo:1'
mask='255.255.255.255'
port='80'
rs1='192.168.8.101'
rs2='192.168.8.102'
scheduler='wrr'
type='-g'
rpm -q ipvsadm &> /dev/null || yum -y install ipvsadm &> /dev/null

case $1 in
start)
    ifconfig $iface $vip netmask $mask #broadcast $vip up
    iptables -F
 
    ipvsadm -A -t ${vip}:${port} -s $scheduler
    ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
    ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
    echo "The VS Server is Ready!"
    ;;
stop)
    ipvsadm -C
    ifconfig $iface down
    echo "The VS Server is Canceled!"
    ;;
*)
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac

综合实验：以lvs-dr模型为例

RS1服务器配置：
    关闭防火墙，selinux，firewalld 
        systemctl stop firewalld
        systemctl disable firewalld
        iptables -F
        vim /etc/sysconfig/selinux
        SELINUX=disabled
        注意：selinux配置系统重启生效
    添加网关或添加默认路由到达其他网络
        vim /etc/sysconfig/network-scripts/ifcfg-ens33
        IPADDR=192.168.32.129
        PREFIX=24
        GATEWAY=192.168.32.200
    安装httpd，创建网页文件
        yum -y install httpd
        echo RS1 server > /var/www/html/index.html
    使用lvs_dr_rs.sh脚本把VIP绑定到本地lo网卡，并更改相关配置
        注意：脚本中的ip地址要更改为后端服务器RS的ip地址

    RS2服务器配置
    关闭防火墙，selinux，firewalld 
        systemctl stop firewalld
        systemctl disable firewalld
        iptables -F
        vim /etc/sysconfig/selinux
        SELINUX=disabled
        注意：selinux配置系统重启生效
    添加网关或添加默认路由到达其他网络
        vim /etc/sysconfig/network-scripts/ifcfg-ens33
        IPADDR=192.168.32.130
        PREFIX=24
        GATEWAY=192.168.32.200
    安装httpd，创建网页文件
        yum -y install httpd
        echo RS2 server > /var/www/html/index.html
    使用lvs_dr_rs.sh脚本把VIP绑定到本地lo网卡，并更改相关配置
        注意：脚本中的ip地址要更改为后端服务器RS的ip地址

    路由器配置
    关闭防火墙，selinux，firewalld 
        systemctl stop firewalld
        systemctl disable firewalld
        iptables -F
        vim /etc/sysconfig/selinux
        SELINUX=disabled
        注意：selinux配置系统重启生效
        vim /etc/sysconfig/network-scripts/ifcfg-ens33
        ONBOOT=yes
        IPADDR=192.168.32.200
        PREFIX=24
        IPADDR2=10.0.0.200
        PREFIX2=8
        vim /etc/sysconfig/network-scripts/ifcfg-ens37
        IPADDR=172.20.45.100
        PREFIX=16
    添加到达客户端的路由
        route add -net 172.20.0.0/16 gw 10.0.0.100

    客户端配置
    关闭防火墙，selinux，firewalld 
    关闭防火墙，selinux，firewalld 
        systemctl stop firewalld
        systemctl disable firewalld
        iptables -F
        vim /etc/sysconfig/selinux
        SELINUX=disabled
        注意：selinux配置系统重启生效
    配置路由，网关指向路由器外网地址
        route add -net 10.0.0.0/8 gw 172.20.45.100
        配置ip地址
        vim /etc/sysconfig/network-scripts/ifcfg-ens33
        IPADDR=172.20.45.10
        PREFIX=16

    LVS调度器
    关闭防火墙，selinux，firewalld 
    开启转发功能，配置文件手动添加/etc/sysctl.conf  
        net.ipv4.ip_forward=1
        sysctl -p   配置文件生效
    配置ip地址
        vim /etc/sysconfig/network-scripts/ifcfg-ens33 
        IPADDR=192.168.32.131
        PREFIX=24
        GATEWAY=192.168.32.200
    把VIP绑定到本地lo网卡
        ifconfig lo:1 10.0.0.100 netmask 255.255.255.255
    安装软件包ipvsadm
        yum -y install ipvsadm
        
基于http 80端口
    配置基于wrr算法的集群
        ipvsadm -A -t 10.0.0.100:80 -s wrr
    配置管理的RS服务器
        ipvsadm -A -t 10.0.0.100:80 -r 192.168.32.129 -w 1
        ipvsadm -A -t 10.0.0.100:80 -r 192.168.32.130 -w 1
        注意：LVS调度器中的网关的配置没有意义，但是必须存在，不能删除，可以将其配置为与RIP同一网段的任意地址

基于https 443端口
    配置基于wrr算法的集群
        ipvsadm -A -t 10.0.0.100:443 -s wrr
    配置管理的RS服务器
        ipvsadm -A -t 10.0.0.100:443 -r 192.168.32.129 
        ipvsadm -A -t 10.0.0.100:443 -r 192.168.32.130


测试1：
    客户端测试
        curl 10.0.0.100
    基于权重轮询的配置测试结果，RS1和RS2权重值为1
        [root@client ~]# curl 10.0.0.100
        RS2 server
        [root@client ~]# curl 10.0.0.100
        RS1 server
        [root@client ~]# curl 10.0.0.100
        RS2 server
        [root@client ~]# curl 10.0.0.100
        RS1 server
        [root@client ~]# curl 10.0.0.100

测试2：
    使用死循环测试查看动态调度效果
        while true;do curl http://10.0.0.100 ;sleep 0.5; done;

FireWall Mark

• FWM：FireWall Mark
• MARK target 可用于给特定的报文打标记
    --set-mark value
    其中：value 可为0xffff格式，表示十六进制数字
• 借助于防火墙标记来分类报文，而后基于标记定义集群服务；可将多个不同的应用使用同一个集群服务进行调度
• 实现方法：
    在Director主机打标记：
      iptables -t mangle -A PREROUTING -d $vip -p $proto –m multiport --dports $port1,$port2,… -j MARK --set-mark NUMBER
    在Director主机基于标记定义集群服务：
      ipvsadm -A -f NUMBER [options]

持久连接

• session 绑定：对共享同一组RS的多个集群服务，需要统一进行绑定，lvs sh算法无法实现
• 持久连接（ lvs persistence ）模板：实现无论使用任何调度算法，在一段时间内（默认360s ），能够实现将来自同一个地址的请求始终发往同一个RS
  ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
• 持久连接实现方式：
    每端口持久（PPC）：每个端口定义为一个集群服务，每集群服务单独调度
    每防火墙标记持久（PFWMC）：基于防火墙标记定义集群服务；可实现将多个端口上的应用统一调度，即所谓的port Affinity
    每客户端持久（PCC）：基于0端口（表示所有服务）定义集群服务，即将客户端对所有应用的请求都调度至后端主机，必须定义为持久模式

LVS高可用

• Director不可用，整个系统将不可用；SPoF Single Point of Failure
    解决方案：高可用
      keepalived heartbeat/corosync
• 某RS不可用时，Director依然会调度请求至此RS
    解决方案： 由Director对各RS健康状态进行检查，失败时禁用，成功时启用
      keepalived heartbeat/corosync ldirectord
    检测方式：
    (a) 网络层检测，icmp
    (b) 传输层检测，端口探测
    © 应用层检测，请求某关键资源
    RS全不用时：backup server, sorry server

知识扩展：

以lvs-dr模型综合实验为例：
如果配置80和443两个集群，两个集群根据各自的调度规则进行调度，互不影响
如何把两个集群配置为一个集群进行调度
	使用防火墙标签    
		在数据报文中贴上标签，只要带有带标签就被认为是同一种服务
	借助于防火墙标记来分类报文，而后基于标记定义集群服务；可将多个不同的应用使用同一个集群服务进行调度
实现方法：
在Director主机打标记：
	iptables -t mangle -A PREROUTING -d $vip -p $proto –m multiport --dports $port1,$port2,… -j MARK --set-mark NUMBER
在Director主机基于标记定义集群服务：
	ipvsadm -A -f NUMBER [options]

1、先打标签
	iptables -t mangle -A PREROUTING -d 10.0.0.100 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 10
	查看调度规则：iptales -t mangle -vnL
2、定义规则
	ipvsadm -A -f 10 -s rr
	ipvsadm -a -f 10 -r 192.168.32.129 -g
	ipvsadm -a -f 10 -r 192.168.32.130 -g
查看调度规则
    [root@centos7 ~]# ipvsadm -Ln
    IP Virtual Server version 1.2.1 (size=4096)
    Prot LocalAddress:Port Scheduler Flags
      -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
    FWM  10 rr
      -> 192.168.32.129:0             Route   1      0          2         
      -> 192.168.32.130:0             Route   1      0          3 
3、测试
    while true;do curl http://10.0.0.100 ;sleep 0.5;curl http://10.0.0.100 ;sleep 0.5;done 

设置持久连接，在一段时间内只向一个服务器调度访问，默认为360s
    ipvsadm -E -f 10 -s rr -p
        -p  添加持久连接

当后端RS服务器出现故障，LVS调度器仍然会向其调度，没有健康检测功能，存在单点失败问题
用脚本实现：
	在LVS调度器上执行以下命令：
	可以用死循环执行该命令，每隔几秒执行一次
	curl http://192.168.32.129 &> /dav/null || ipvsadm -d -f 10 -r 192.168.32.129

6、ldirectord

• ldirectord：监控和控制LVS守护进程，可管理LVS规则
• 包名：ldirectord-3.9.6-0rc1.1.1.x86_64.rpm
• 下载：http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/CentOS_CentOS-7/x86_64/
• 文件：
  /etc/ha.d/ldirectord.cf 主配置文件
  /usr/share/doc/ldirectord-3.9.6/ldirectord.cf 配置模版
  /usr/lib/systemd/system/ldirectord.service 服务
  /usr/sbin/ldirectord 主程序,Perl实现
  /var/log/ldirectord.log 日志
  /var/run/ldirectord.ldirectord.pid pid文件
  Ldirectord配置示例：

以lvs-dr模型综合实验为例：
yum -y install ldirectord-3.9.6-0rc1.1.1.x86_64.rpm
cp /usr/share/doc/ldirectord-3.9.6/ldirectord.cf /etc/ha.d/
vim /etc/ha.d/ldirectord.cf
checktimeout=3        #超时检查，一旦超时，从调度列表中删除此RS服务器
checkinterval=1       #检查间隔
autoreload=yes        #自动加载，该配置文件更改完以后，第一次启动需要手动启动，后续启动会自动启动
logfile="/var/log/ldirectord.log"    #日志文件
quiescent=no    #RS服务器down时，quiescent=yes表示权重为0，quiescent=no为删除该服务器
virtual=10.0.0.100:80     #表示集群服务，如果值为数字，表示防火墙标签，如果值是IP：port，是指集群服务的ip和端口号
	real=192.168.32.129:80 gate 2       #gate表示为dr调度算法，2表示权重为2，不加表示默认权重为1
	real=192.168.32.130:80 gate
	fallback=127.0.0.1:80 gate   #是指sorry server
	service=http         #http服务
	scheduler=wrr        #wrr算法
	protocol=tcp         #指定协议类型，如果使用防火墙标签，则要删除该选项
	checktype=negotiate
	checkport=80         #检查端口
	request="index.html"    #检查页面
	receive="RS"    #检查内容，可以指定关键字，如页面内容都有RS Server，则该内容可以写为RS或Server

在LVS服务器设置sorry server
    yum -y install httpd
    systemctl start httpd
在sorry server主网页写入当RS服务器全部down时显示的内容
    echo sorry server > /var/www/html/index.html

启动服务
    systemctl start ldirectord
查看生成的调度规则
    [root@centos7 ~]# ipvsadm -Ln
    IP Virtual Server version 1.2.1 (size=4096)
    Prot LocalAddress:Port Scheduler Flags
      -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
    TCP  10.0.0.100:80 rr
      -> 192.168.32.129:80            Route   1      0          0         
      -> 192.168.32.130:80            Route   1      0          0   

测试：
使用死循环，方便查看测试结果
    while true ; do curl http://10.0.0.100; sleep 0.5; done ;
先关闭RS1，查看客户端显示访问结果
再关闭RS2，查看客户端显示访问结果，查看sorry server中的网页信息是否显示

注意：
    在配置文件中
        quiescent=no时，RS服务器会被直接删掉，调度器不往该服务器调度用户的访问
        quiescent=yes时，仍然能看到down掉的RS服务器，但调度器已经不往该服务器调度用户的访问
    使用防火墙标签，把两个集群服务合成一个服务
        virtual=10     使用防火墙标签
        protocol=tcp   注意：如果使用防火墙标签，则必须删除该选项