Linux企业化运维--7.LVS负载均衡

目录

1. LVS

         2. LVS的作用

         3.LVS的3种工作模式

4.DR模式实现负载均衡

     ARP协议

5.LVS心跳检测keepalived

6.LVS冗余——高可用

---

1. LVS

LVS的英文全称是Linux Virtual Server，Linux虚拟服务器，是一个虚拟的服务器集群系统。在linux

内存2.6中，它已经成为内核的一部分，在此之前的内核版本则需要重新编译内核。

2. LVS的作用

LVS主要用于多服务器的负载均衡。它工作在网络层，可以实现高性能，高可用的服务器集群技术。

它廉价，可把许多低性能的服务器组合在一起形成一个超级服务器。

它易用，配置非常简单，且有多种负载均衡的方法。它稳定可靠，即使在集群的服务器中某台服务器无法正常工作，也不影响整体效果。

另外可扩展性也非常好。

优点：
抗负载能力强，性能高，能达到F5的60%，对内存和CPU资源消耗比较低
工作在网络4层，通过VRRP协议(仅作代理之用)，具体的流量是由linux内核来处理，因此没有流量的产生。
稳定，可靠性高，自身有完美的热备方案(Keepalived+lvs)
支持多种负载均衡算法：rr(轮询)，wrr(带权轮询)、lc(最小连接)、wlc(带权最小连接)

LVS工作模式有4种： (1) NAT 地址转换 (2) DR 直接路由 (3) TUN 隧道 (4) FULL-NAT
转发效率和稳定性比nginx和haproxy高

缺点：
只能做代理使用，只支持四层协议。
不支持正则处理，不支持动静分离。

DR模式的负载均衡

 

3.LVS的3种工作模式

1、基于NAT的LVS模式负载均衡

NAT（Network AddressTranslation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网，以及外部用用户可以访问位于公司内部的私有IP主机.
第一步，用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网地址，相对于真实服务器而言，LVS外网IP又称VIP（Virtual IPAddress），用户通过访问VIP，即可连接后端的真实服务器（Real
Server），而这一切对用户而言都是透明的，用户以为自己访问的就是真实服务器，但他并不知道自己访问的VIP仅仅是一个调度器，也不清楚后端的真实服务器到底在哪里、有多少真实服务器。

第二步，用户将请求发送至124.126.147.168，此时LVS将根据预设的算法选择后端的一台真实服务器（192.168.0.1~192.168.0.3），将数据请求包转发给真实服务器，并且在转发之前LVS会修改数据包中的目标地址以及目标端口，目标地址与目标端口将被修改为选出的真实服务器IP地址以及相应的端口。

第三步，真实的服务器将响应数据包返回给LVS调度器，调度器在得到响应的数据包后会将源地址和源端口修改为VIP及调度器相应的端口，修改完成后，由调度器将响应数据包发送回终端用户，另外，由于LVS调度器有一个连接Hash表，该表中会记录连接请求及转发信息，当同一个连接的下一个数据包发送给调度器时，从该Hash表中可以直接找到之前的连接记录，并根据记录信息选出相同的真实服务器及端口信息。

2、基于TUN的LVS负载均衡

在LVS（NAT）模式的集群环境中，由于所有的数据请求及响应的数据包都需要经过LVS调度器转发，如果后端服务器的数量大于10台，则调度器就会成为整个集群环境的瓶颈。我们知道，数据请求包往往远小于响应数据包的大小。因为响应数据包中包含有客户需要的具体数据，所以LVS（TUN）的思路就是将请求与响应数据分离，让调度器仅处理数据请求，而让真实服务器响应数据包直接返回给客户端。VS/TUN工作模式拓扑结构如图3所示。其中，IP隧道（IP tunning）是一种数据包封装技术，它可以将原始数据包封装并添加新的包头（内容包括新的源地址及端口、目标地址及端口），从而实现将一个目标为调度器的VIP地址的数据包封装，通过隧道转发给后端的真实服务器（RealServer），通过将客户端发往调度器的原始数据包封装，并在其基础上添加新的数据包头（修改目标地址为调度器选择出来的真实服务器的IP地址及对应端口），LVS（TUN）模式要求真实服务器可以直接与外部网络连接，真实服务器在收到请求数据包后直接给客户端主机响应数据。

3、基于DR的LVS负载均衡

在LVS（TUN）模式下，由于需要在LVS调度器与真实服务器之间创建隧道连接，这同样会增加服务器的负担。与LVS（TUN）类似，DR模式也叫直接路由模式，其体系结构如图4所示，该模式中LVS依然仅承担数据的入站请求以及根据算法选出合理的真实服务器，最终由后端真实服务器负责将响应数据包发送返回给客户端。与隧道模式不同的是，直接路由模式（DR模式）要求调度器与后端服务器必须在同一个局域网内，VIP地址需要在调度器与后端所有的服务器间共享，因为最终的真实服务器给客户端回应数据包时需要设置源IP为VIP地址，目标IP为客户端IP，这样客户端访问的是调度器的VIP地址，回应的源地址也依然是该VIP地址（真实服务器上的VIP），客户端是感觉不到后端服务器存在的。由于多台计算机都设置了同样一个VIP地址，所以在直接路由模式中要求调度器的VIP地址是对外可见的，客户端需要将请求数据包发送到调度器主机，而所有的真实服务器的VIP地址必须配置在Non-ARP的网络设备上，也就是该网络设备并不会向外广播自己的MAC及对应的IP地址，真实服务器的VIP对外界是不可见的，但真实服务器却可以接受目标地址VIP的网络请求，并在回应数据包时将源地址设置为该VIP地址。调度器根据算法在选出真实服务器后，在不修改数据报文的情况下，将数据帧的MAC地址修改为选出的真实服务器的MAC地址，通过交换机将该数据帧发给真实服务器。整个过程中，真实服务器的VIP不需要对外界可见。

4.DR模式实现负载均衡

server1为调度器，负载流量均衡（基于4层即传输层进行调度，调度算法有WRR/WLC等，传输协议为TCP/UDP），server2和server3为真实服务器

server1中安装ipvsadm，用于管理LVS的策略规则，从而调度用户访问

 

 

 

 

 

 

 

 ipvsadm -A 添加规则；-t tcp协议；-s 调度；rr 轮循

 ipvsadm -a: -a向tcp虚拟服务添加  -r real server真实服务器  -g 直连即DR模式 

pvsadm -ln：查看当前连接情况,-ln没有解析，-l有解析 

Forward：转发方式，当前是路由转发；
Weight：权重；
ActiveConn：当前活跃的连接数；
InActConn：当前不活跃的连接数

ipvsadm策略的保存和启用

 运用systemctl启动，可以设置开机自启动

 内核查询模块

 

 添加一个对外访问的虚拟IP：172.25.134.100即 VIP，提供虚拟服务的ip地址，但最好是独立出来的IP，不要和原IP混用

 

 LVS-DR集群类型要求，当用户向vip发起请求时，调度器和真实服务器上必须都要有vip，因此需要给server2和server3添加虚拟IP，/32只是本机使用

 server2和server3添加虚拟IP100

 

 此时使用真机curl 172.25.134.100,能够成功轮询server2，server3

ARP协议

ARP协议是将IP地址映射为MAC地址的协议，其在协议上使用ARP请求及ARP应答报文来实现

---

 当真机执行arp -d 删除指定虚拟IP的ARP缓存后，将不能得到172.25.134.100的MAC地址。
再次Ping之后又可以得到，但是已经不是调度器的地址

此时curl 172.25.134.100，只有server3，已经不轮循访问，说明此时客户端向vip发起请求时，并没有经过调度器而是直接到达了真实服务器

所以我们要防止客户端直接访问真实服务器， 需要禁掉设备的APR响应

在server2和server3真实服务器上安装ARP防火墙arptables——用于管理内核中的ARP包过滤规则表 

 

只针对ARP协议，当数据包的目的地址是100时就丢弃该数据包，当从本机发送出的数据包IP是100时，mangle转换数据包源地址，这样就不会作为100被捕获MAC地址，伪装源地址IP为172.25.134.2，不会接收数据，也不会被捕获MAC

filter表有三个链，一个是INPUT，表示外面发进来的ARP包；另外一个是OUTPUT，表示本机发出的ARP包；第三个是FORWARD，转发ARP包
-A：向规则链中追加规则
-d：指定要匹配ARP包的目的IP地址
-j：指定满足添加的规则时执行的动作
-s：指定要匹配ARP包的源ip地址
-g：直连
-r：真实服务器地址

 

 复制策略到server3修改启用

 

 查看策略

arptables-save

 保存策略

arptables-save > /etc/sysconfig/arptables

 

当真机执行arp -d 删除指定虚拟IP的ARP缓存后，将不能得到172.25.134.100的MAC地址。 再次Ping之后又可以得到，为server1的MAC地址

本地ARP缓存的100对应是server1的MAC地址  

 5.LVS心跳检测keepalived

当真实服务器宕机的时候，客户访问时当LVS匹配到宕机主机时客户端会报错，ipvsadm策略依然可以看到服务器存在，所以引入LVS高可用来解决这个问题，ipvsadm没有健康检测功能，后端服务是否正常需要通过keepalived来检测

 

 

 删掉server1上手动设置的虚拟ip172.25.33.100

 

notification_email_from keepalived@localhost    #设置通知邮件，出了问题给谁发送邮件
smtp_connect_timeout 30                                    #超时时间
#vrrp_strict                                                           #注释vrrp_strict，这一参数功能是在出问题时抓取数据包

delay_loop 3                                                        #对后端的健康检测频率，3s
lb_algo rr                                                             #调度算法
#persistence_timeout 50                                     #持久连接，即在多长时间内DR会将所有连接请求持续调度给一个后端

virtual_router_id  85                                            #范围255以内，一般1-254，控制哪些虚拟主机为一组，如server1和server4的virtual_router_id相同，server1为master，server4为backup，为一组。

 

 LVS集群策略设定，设定之后不需要手动设置VIP及ipvsadm设置的规则

 

 

ipvsadm -C清除设置的规则

 

 配置完毕，关闭server2的httpd

 之前检测到的server2消失

 

客户端client访问VS虚拟服务器，虚拟服务器发送到RS真实服务器，RS回传到客户端

6.LVS冗余——高可用

当调度器server1的lvs down掉，lvs就无法正常使用

所以要配置lvs的备用调度器server4

server4安装keepalived

 

 

 修改配置文件并启动keepalived

 修改BACKUP、优先级，优先级要比server1优先级低

 

当server1正常时连接正常

 关闭server1的keepalived

systemctl stop keepalived

 lvs正常使用，MAC地址为server4的MAC地址

 

 重新server1的keepalived

 server1比server4优先级高，重新启动时，MAC地址变为server1的MAC地址