集群LVS之NAT的应用配置

一、集群简介

集群的总类：

    1.负载均衡集群(LB:Load Banlancing):实现将一个访问量或者任务量特别大的应用，给他

平均分配到不同的服务器上面，以提供高容量、大并发。

    2.高可用集群(HA:High Avalibility):将多台计算机组合起来，避免一个服务因某台机器

出现故障，而导致服务中断的，在于保障服务的可持续性。

    3.高性能集群(HP:High Performance)又叫科学运算集群:解决复杂的计算，组合起来的集群，一般要很大量的计算机组成。suse用的比较多

集群分别代表的软件

    LB：负载均衡集群(LB:Load Banlancing)

    lvs(Linux Virtual Serverlinux虚拟服务器)：提供更高的吞吐率、提供冗余、更灵活的实用性

   lvs:ipvsadm(工作在用户空间)/(ipvs工作在内核空间)和iptables/netfilter类似

二、LVS

 1、LVS的分类

    a、Virtual Server via Network Address Translation（VS/NAT）
        通过网络地址转换，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端的真实服务器；真实服务器的响应报文通过调度器时，报文的源地址被重写，再返回给客户，完成整个负载调度过程。

    nat类型的特性：

1、RS应用使用私有地址；RS的网关必须指向DIP；

2、请求和响应都要经过Director；高负载场景中，Director易成为性能瓶颈；

3、支持端口映射；

4、RS可以使用任意OS；

b、Virtual Server via IP Tunneling（VS/TUN）

        采用NAT技术时，由于请求和响应报文都必须经过调度器地址重写，当客户请求越来越多时，调度器的处理能力将成为瓶颈。为了解决这个问题，调度器把请求报 文通过IP隧道转发至真实服务器，而真实服务器将响应直接返回给客户，所以调度器只处理请求报文。由于一般网络服务应答比请求报文大许多，采用 VS/TUN技术后，集群系统的最大吞吐量可以提高10倍。

    tun类型的特性:

1、RIP、VIP、DIP全部是公网地址；

2、RS的网关不会也不可能指向DIP；

3、请求报文经由Director，但响应报文必须不能经过Director；

4、不支持端口映射；

5、RS的OS必须支持隧道功能；

c、Virtual Server via Direct Routing（VS/DR）

        VS/DR通过改写请求报文的MAC地址，将请求发送到真实服务器，而真实服务器将响应直接返回给客户。同VS/TUN技术一样，VS/DR技术可极大地 提高集群系统的伸缩性。这种方法没有IP隧道的开销，对集群中的真实服务器也没有必须支持IP隧道协议的要求，但是要求调度器与真实服务器都有一块网卡连 在同一物理网段上。

    dr类型的特性：

1、保证前端路由将目标地址为VIP的报文统统发往Directory，而不能是RS；

解决方案：

(1) 静态地址绑定：在前端路由器上操作

                    问题：未必有路由操作权限

(2) aprtables

(3) 修改RS上内核参数，将RS上的VIP配置在lo接口的别名上，并限制其不能响应对                       VIP地址解析请求；

2、RS可以使用私有地址；但也可以使用公网地址，此时可通过互联网通过RIP对其直接访问；

3、RS跟Directory必须在同一物理网络中；

4、请求报文经由Director，但响应报文必须不能经过Director；

5、不支持端口映射；

6、RS可以是大多数常见的OS；

7、RS的网关绝不允许指向DIP；

3、LVS的调度算法

    针对不同的网络服务需求和服务器配置，IPVS调度器实现了如下八种负载调度算法：

1）轮叫（Round Robin）
调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。

2）加权轮叫（Weighted Round Robin）
调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

3）最少链接（Least Connections）

调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。

4）加权最少链接（Weighted Least Connections）

在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

5）基于局部性的最少链接（Locality-Based Least Connections）
"基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器 是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务 器，将请求发送到该服务器。

6）带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）
"带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个 目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务 器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一 台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的 程度。

7）目标地址散列（Destination Hashing）
"目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

8）源地址散列（Source Hashing）
"源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

4、LVS的四个ip地址

Director：负责调度集群的主机；也简称调度器、分发器

VIP：(Virtual IP address)Virtual IP 向外提供服务的IP；通常此IP绑定域名

DIP：(Director's IP address)与内部主机RIP通信的IP，在Director主机上

RIP：(Real IP address)RealServer IP；内部真正提供服务的主机

CIP：(Client computer's IP address)客户端IP

5、ipvsadm

    在线帮助：http://linux.die.net/man/8/ipvsadm

1、定义集群服务格式：

1)、添加集群服务：

ipvsadm -A|E -t|u|f service-address [-s scheduler]

              [-p [timeout]] [-M netmask]

-A：                  表示添加一个新的集群服务

-E：                  编辑一个集群服务

-t：                  表示tcp协议

-u：                  表示udp协议

-f：                  表示firewall-Mark,防火墙标记

service-address：     集群服务的IP地址，即VIP

-s                    指定调度算法

-p                    持久连接时长，如#ipvsadm -Lcn ，查看持久连接状态

-M                    定义掩码

ipvsadm -D -t|u|f service-address      删除一个集群服务

ipvsadm -C                             清空所有的规则

ipvsadm -R                             重新载入规则

ipvsadm -S [-n]                        保存规则

    eg：

        ipvsadm -A -t 192.168.1.110:80 -s rr

2、向集群服务添加RealServer规则：

1)、添加RealServer规则

ipvsadm -a|e -t|u|f service-address -r server-address

              [-g|i|m] [-w weight]

-a                 添加一个新的realserver规则

-e                 编辑realserver规则

-t                 tcp协议

-u                 udp协议

-f                 firewall-Mark，防火墙标记

service-address    realserver的IP地址

-g                 表示定义为LVS-DR模型

-i                 表示定义为LVS-TUN模型

-m                 表示定义为LVS-NAT模型

-w                 定义权重，后面跟具体的权值

ipvsadm -d -t|u|f service-address -r server-address          --删除一个realserver

ipvsadm -L|l [options]                                       --查看定义的规则

eg：#ipvsadm -L -n  

ipvsadm -Z [-t|u|f service-address]                          --清空计数器

  eg:  ipvsadm -a -t 192.168.1.110:80 -r 172.16.36.1:80 -m -w 1

       ipvsadm -a -t 192.168.1.110:80 -r 172.16.36.2:80 -m -w 2 

三、LVS-DR

实验拓扑图如下：

准备工作

     关闭所有节点上的selinux和iptables

        # setenforce 0

        # iptables -F

        # service iptables stop

        # chkconfig iptables off

在RealServer上部署httpd服务并测试

        [root@90sec ~]# yum -y install httpd

        [root@90sec ~]# echo "RealServer1" > /var/www/html/index.html

        [root@90sec ~]# service httpd start

        [root@80sec ~]# yum -y install httpd

        [root@80sec ~]# echo "RealServer2" > /var/www/html/index.html

        [root@80sec ~]# service httpd start

测试httpd服务是否OK！

        [root@90sec ~]# curl http://localhost

        RealServer1

        [root@80sec ~]# curl http://172.16.36.20

        RealServer2

添加网关

    [root@90sec ~] route add -net 192.168.1.0/24 gw 172.16.36.1

    [root@90sec ~] route add -net 192.168.1.0/24 gw 172.16.36.1

在Director上部署ipvs服务并测试        
    开启转发功能

        [root@10sec ~]# echo "1" > /proc/sys/net/ipv4/ip_forward 

        [root@10sec ~]# cat /proc/sys/net/ipv4/ip_forward 

            1

添加一块网卡配置IP

        [root@10sec ~]# ifconfig eth1 172.16.36.1/16

        [root@10sec ~]#  ifconfig | grep 'inet addr'

          inet addr:192.168.1.118  Bcast:192.168.1.255  Mask:255.255.255.0

          inet addr:172.16.36.1  Bcast:172.16.255.255  Mask:255.255.0.0

          inet addr:127.0.0.1  Mask:255.0.0.0

查看本机是否支持LVS，2.4.2后都支持了；然后安装ipvsadm 

      [root@10sec ~]# grep -i "ip_vs" /boot/config-2.6.32-431.el6.x86_64 

            CONFIG_IP_VS=m

            CONFIG_IP_VS_IPV6=y

            # CONFIG_IP_VS_DEBUG is not set

            CONFIG_IP_VS_TAB_BITS=12

            CONFIG_IP_VS_PROTO_TCP=y    #IPVS支持哪些集群服务

            CONFIG_IP_VS_PROTO_UDP=y

            CONFIG_IP_VS_PROTO_AH_ESP=y

            CONFIG_IP_VS_PROTO_ESP=y

            CONFIG_IP_VS_PROTO_AH=y

            CONFIG_IP_VS_PROTO_SCTP=y

            CONFIG_IP_VS_RR=m        #ipvs支持的十种调度算法

            CONFIG_IP_VS_WRR=m

            CONFIG_IP_VS_LC=m

            CONFIG_IP_VS_WLC=m

            CONFIG_IP_VS_LBLC=m

            CONFIG_IP_VS_LBLCR=m

            CONFIG_IP_VS_DH=m

            CONFIG_IP_VS_SH=m

            CONFIG_IP_VS_SED=m

            CONFIG_IP_VS_NQ=m

            CONFIG_IP_VS_FTP=m        #支持代理ftp协议的

            CONFIG_IP_VS_PE_SIP=m    

    [root@10sec ~]# yum -y install ipvsadm

添加LVS

永久保存LVS规则并恢复

第一种方法：

    [root@10sec ~]# service ipvsadm save

    ipvsadm: Saving IPVS table to /etc/sysconfig/ipvsadm:      [确定]

第二种方法：

    [root@10sec ~]# ipvsadm -S > /etc/sysconfig/ipvsadm.s1

模拟清空ipvsadm规则来恢复

   [root@10sec ~]# ipvsadm -C

    [root@10sec ~]# ipvsadm -L -n

    IP Virtual Server version 1.2.1 (size=4096)

    Prot LocalAddress:Port Scheduler Flags

      -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

    [root@10sec ~]# ipvsadm -R < /etc/sysconfig/ipvsadm.s1 

    [root@10sec ~]# ipvsadm -L -n

    IP Virtual Server version 1.2.1 (size=4096)

    Prot LocalAddress:Port Scheduler Flags

      -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

    TCP  192.168.1.118:80 wrr

      -> 172.16.36.20:80             Masq    2      0          0         

      -> 172.16.36.10:80             Masq    1      0          0