网络应用部署负载均衡LVS_DR模式详解

负载均衡LVS_DR模式详解

 

1.前言

【1】LVS特点:

LVSLinux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。可伸缩网络服务的几种结构,它们都需要一个前端的负载调度器(或者多个进行主从备份)。我们先分析实现虚拟网络服务的主要技术,指出IP负载均衡技术是在负载调度器的实现技术中效率最高的。在已有的IP负载均衡技术中,主要有通过网络地址转换(Network Address Translation)将一组服务器构成一个高性能的、高可用的虚拟服务器,我们称之为VS/NAT技术(Virtual Server via Network Address Translation)。在分析VS/NAT的缺点和网络服务的非对称性的基础上,我们提出了通过IP隧道实现虚拟服务器的方法VS/TUN (Virtual Server via IP Tunneling),和通过直接路由实现虚拟服务器的方法VS/DR(Virtual Server via Direct Routing),它们可以极大地提高系统的伸缩性。VS/NAT、VS/TUN和VS/DR技术是LVS集群中实现的三种IP负载均衡技术。

【2】技术简介

LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的,而且无需修改客户端和服务器端的程序。为此,在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。

【3】集群采用三层结构

一般来说,LVS集群采用三层结构,其主要组成部分为:

A、负载调度器(load balancer),它是整个集群对外面的前端机,负责将客户的请求发送到一组服务器上执行,而客户认为服务是来自一个IP地址(我们可称之为虚拟IP地址)上的。

B、服务器池(server pool),是一组真正执行客户请求的服务器,执行的服务有WEB、MAIL、FTP和DNS等。

C、共享存储(shared storage),它为服务器池提供一个共享的存储区,这样很容易使得服务器池拥有相同的内容,提供相同的服务。

 

2. LVS_DR 模式架构图

网络应用部署负载均衡LVS_DR模式详解_第1张图片

说明: 图中展示的是最简单的 LVS DR 模式架构,也是这篇博客的实验环境。

 

3. arp 基础知识

为什么要先了解arp 的知识呢?因为,在lvs_dr 负载均衡模式中,realserver 和 lvs 调度器都配置了vip。客户端需要和 lvs 的 vip 通信,所以,就要抑制realserver 对vip 的mac 地址的请求。具体会涉及到 arp_ignore 和 arp_announce 两个参数的设置。注意在文章的后半段,我会再详细讲一下。

什么是arp广播?通俗讲,就是在网络中,根据ip地址找mac地址的协议,即ARP 协议。

3.1 举一个例子:

主机A的IP地址为192.168.1.1,MAC地址为0A-11-22-33-44-01;
主机B的IP地址为192.168.1.2,MAC地址为0A-11-22-33-44-02;

当主机A要与主机B通信时:
第1步:根据主机A上的路由表内容,IP确定用于访问主机B的转发IP地址是192.168.1.2。然后A主机在自己的本地ARP缓存中检查主机B的匹配MAC地址。
第2步:如果主机A在ARP缓存中没有找到映射,它将询问192.168.1.2的硬件地址,从而将ARP请求帧广播到本地网络上的所有主机。源主机A的IP地址和MAC地址都包括在ARP请求中。本地网络上的每台主机都接收到ARP请求并且检查是否与自己的IP地址匹配。如果主机发现请求的IP地址与自己的IP地址不匹配,它将丢弃ARP请求。
第3步:主机B确定ARP请求中的IP地址与自己的IP地址匹配,则将主机A的IP地址和MAC地址映射添加到本地ARP缓存中。
第4步:主机B将包含其MAC地址的ARP回复消息直接发送回主机A。
第5步:当主机A收到从主机B发来的ARP回复消息时,会用主机B的IP和MAC地址映射更新ARP缓存。本机缓存是有生存期的,生存期结束后,将再次重复上面的过程。主机B的MAC地址一旦确定,主机A就能向主机B发送IP通信了。

 

4. 准备工作——服务器ip分配

4.1 lvs

          eth0:      192.168.188.108
          eth0:2    192.168.188.120     (vip)
          mac:       00:0c:29:50:d5:63 

4.2 realeserver

第一台(cenvm71):
     eno16777736 :      192.168.188.107
     mac :                     00:0c:29:e4:4d:1f
     lo:0                        192.168.188.120    (vip)

第二台(cenvm72):
       eth0:                  192.168.188.110
       mac:                  00:0c:29:2c:a5:a0
       lo:0                     192.168.188.120      (vip)

4.3 在两台 rs 主机安装nginx

yum install  -y  nginx

安装完nginx 服务后,最好将nginx 的默认html 文件修改一下输出内容,让它们能够区分就可以了。

 

5. 环境搭建过程

5.1 DR 安装ipvsadm 和配置 lvs_dr.sh 文件

安装ipvsadm 软件:
yum   install   -y   ipvsadm 

配置文件:
[root 18:40:39 @CentOS3 sbin] cat /usr/local/sbin/lvs_dr.sh 
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.188.120
rs1=192.168.188.107
rs2=192.168.188.110
#注意这里的网卡名字
ifdown eth0
ifup eth0
ifconfig eth0:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:2
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

5.2 realeserver 配置 lvs_rs.sh 文件

[root@cenvm72 network-scripts]# cat /usr/local/sbin/lvs_rs.sh 
#/bin/bash
vip=192.168.188.120
#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

两台realeserver 主机的 lvs_rs.sh 配置文件都一样

6. 实验过程

6.1 启动 lvs

现在 rs1 和 rs2 上运行 lvs_rs.sh 脚本,启动nginx服务

/bin/bash    /usr/local/sbin/lvs_rs.sh

systemctl   start   nginx

然后,在 lvs 上运行lvs_dr.sh 脚本,启动nginx

/bin/bash    /usr/local/sbin/lvs_dr.sh

systemctl    start   nginx

在 lvs 查看:

[root 18:58:10 @CentOS3 sbin] ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.188.120:80 wrr
  -> 192.168.188.107:80           Route   1      0          0         
  -> 192.168.188.110:80           Route   1      0          0     

说明lvs 功能已经启动

6.2 lvs dr 模式请求过程

整个请求过程如下:

client在发起请求之前,会发一个arp广播的包,在网络中找“谁是vip”,由于所有的服务器,lvs和rs都有vip,为了让client的请求送到lvs上,所以必须让rs不能响应client发出的arp请求,(这也是为什么要禁止rs上arp的请求和响应)下面就是lvs转发的事情了:

  1. client向目标vip发送请求,lvs接收;此时ip包和数据信息如下:
src mac dst mac src ip dst ip
00:0c:29:f3:1f:de 00:0c:29:50:d5:63 192.168.188.111 192.168.188.120
  1. lvs根据负载均衡的算法,选择一台realserver,然后把realserver1的mac地址作为目的mac地址,发送到局域网中
src mac dst mac src ip dst ip
00:0c:29:50:d5:63 00:0c:29:e4:4d:1f 192.168.188.111 192.168.188.120

3 . realserver1在局域网中收到这个请求以后,发现目的ip和本地匹配,于是进行处理,处理完成以后,直接把源ip和目的ip直接对调,然后经过网关直接返回给用户;

src mac dst mac src ip dst ip
00:0c:29:e4:4d:1f 00:0c:29:f3:1f:de 192.168.188.120 192.168.188.111

6.3 抓包分析验证

  1. lvs 转发到 realeserver

网络应用部署负载均衡LVS_DR模式详解_第2张图片

从抓包中可以看到,客户端发送请求给 lvs,lvs 马上就会将请求转发给后端的 rs2 (mac 地址: 00:0c:29:2c:a5:a0);

realserver 直接会应客户端数据
lvs_dr 负载均衡模式分析
从抓到的数据包分析,rs2 处理请求后,直接就把数据发回给客户端了。源ip 是 vip,目标ip 是客户端的ip。

 

7. 重要的补充,关于arp 抑制

lvs dr 模式中,lvs 和 rs 处于同一个网络中,而且他们都配置相同的 vip。所以,当客户端要向vip 发送网络请求的时候,它会先在整个网络广播一条 arp 请求,询问 vip 对应的mac 地址是什么。arp 广播有可能被lvs 响应,也有可能被realeserver 响应。如果这条请求 vip 的广播被realeserver 服务器响应了,那么客户端的 arp 缓存表就记录了vip 的mac 地址是realserver 的了。这样会导致客户端直接可以将数据请求发送到realserser ,lvs 的负载均衡作用就完全失效,其他的realserver 服务器也不会被请求。

由于存在以上的问题,lvs dr 模式的架构中,需要将realserver 的arp 协议响应和宣告功能进行限制。具体来说就是在 rs 里的 lvs_rs.sh 配置脚本的以下几条操作:

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

备注说明:

7.1 arp_ignore =1

作用就是,限制rs 对arp 广播的响应。当 arp 请求的目的 ip 是本机的网络入口设备的ip 时才响应。所以,当arp_ignore设为1后,rs 对网络中询问vip 的 arp 广播包都不再响应。因为rs 的vip 设置在lo:0 虚拟网卡上,不是rs这台机器的网络流入设备。

7.2 arp_announce = 2

作用就是,限制rs 在对外宣告arp 广播时所使用的源ip 地址。因为,rs 要直接返回客户的请求数据。我们从本文的第6节抓包分析里,就知道rs 需要知道客户机的mac地址,数据包才能发送到网络中,且能准确找到客户机的网卡。
rs 在广播arp 请求时,默认如果arp_announce=0时,发出请求的ip是什么,arp 请求里的源ip就应该是什么。即如果arp_announce=0,那么rs 的arp 广播的源ip 就会是vip。当rs 发出这个源ip是vip ,源mac地址是 eth0 的请求包后,客户机就会更新自己的arp 缓存表里vip 的mac 地址,这样之前记录的lvs 的mac 地址就失效了。

所以,需要将 arp_announce设置为2。这样,rs 发出arp 广播请求查询客户机的mac地址时,它的arp 报文里使用的源ip 就会选择出口设备,也就是eth0 的mac 地址。当客户机收到rs 的这个arp 请求时,就会回应自己mac 地址。这样,客户机也不会更新自己arp 缓存表里的vip 的mac地址。

arp 协议有一个特点,它不会记住自己询问过的ip地址和mac主机。所以,当有接收到新的arp广播请求,如果发现有新的mac 地址,他就会更新。而不会验证发送方是不是自己曾经询问过的ip 。这个缺陷也引起了arp ***,就是我们常说的arp 欺骗。有些中间代理机器,不断地发arp 请求,让你的机器arp 缓存表里的mac 地址混乱。

 

8. 总结

在lvs dr 模式中通过抓包理解请求发送的流转方向,清晰地理解为什么lvs 调度器不会成为网络性能的瓶颈,在理解arp 抑制时理解arp_ignore 和 arp_announce 两个参数的作用最为重要。

你可能感兴趣的:(LVS负载均衡,Linux系统,LVS)