LVS-NAT

RHEL6有关群集的应用：

群集（或集群）和称呼来自于英文单词cluster，表示一群、一串的意思，用在服务器领域则表示大量服务器的集合体，以区分于单个服务器。

根据实际企业环境的不同，群集所提供的功能也各不相同，采用的技术细节也可能各有千秋，但无论哪种群集，都至少包括两台节点服务器。而对外表现为一个整体，只提供一个访问入口（域名或IP地址），相当于一台大型计算机。根据群集所针对的目标差异，可分为以下三种类型。

负载均衡群集（laod balance cluster）:以提高应用系统的响应能力，尽可能处理更多的访问请求，减少延迟为目标，获得高并发、高负载的整体性能。

高可用群集（high availability cluster）：以提高应用系统的可靠性，尽可能地减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果。HA的工作方式包括双工、主从两种模式------双工即所有节点同时在线，主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点。

高性能运算群集（high performance computer cluster）：以提高应用系统的CPU运算速度，扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算(HPC)能力.通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。

1、负载均衡群集的分层结构：

在典型的负载均衡群集中，包括三个层次的组件，如图所示：

前端至少有一个负载调度器（load balancer，或称为director），负责响应并分发来自客户机的访问请求；后端由大量真实服务器（real server）构成服务器池（server pool）,提供实际的应用服务，整个群集的伸缩性通过增加、删除服务器节点来完成，而这些过程对客户机是透明的；为了保持服务的一致性，所有节点使用共享存储设备。

第一层，负载调度器：这是访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP（virtual IP,虚拟IP）地址，也称为群集IP地址。通常会配置主、备两台调度器实现热备份.

第二层，服务器池：群集所提供的应用服务（如HTTP、FTP）由服务器池承担，其中的每个节点具有独立的RIP（real IP,真实IP）地址，只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等侍错误排除以后再重新纳入服务器池。

第三层，共享存储：为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的唯一性，在linux/unix环境中，共享存储可以使用NAS设备或者提供NFS共享服务的专用服务器。

负载均衡的工作模式：

关于群集的负载调度技术，可以基于IP、端口、内容等进行分发，其中基于IP的负载调度是效果最高的。基于IP的负载均衡模式中，常见的有地址转换(NAT)、IP隧道(TUN)、直接路由（DR）这三种工作模式。

地址转换：简称NAT模式，类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口。服务器节点使用私有IP地址。与负载调度器位于同一个物理网络，安全性要优于其他两种方式。

IP隧道（IPTUNNEL）：简称TUN模式，采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的INTERNET连接直接回应客户机，而不再经过负载调度器。服务器节点分散在互联网中的不同位置。具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信。

直接路由（direct routing）：简称DR模式，采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络。负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道。

以上三种工作模式中，NAT方式只需要一个公网IP地址，从而成为最易用的一种负载均衡模式，安全性也比较好，许多硬件负载均衡设备就是采用这种方式，相比较而言，DR和TUN模式的负载能力更强大，适用范围更广，但节点的安全性要稍差一些。

LVS虚拟服务器：

Linuxvirtual server是针对LINUX内核开发的一个负载均衡项目。LVS实际上相当于基于IP地址的虚拟化应用。LVS现在已成为LINUX内核的一部分，默认编译为ip_vs模块，必要时能够自动调用，在RHEL6系统中，以下操作可以手动加载ip_vs模块，并查看当前系统中ip_vs模块的版本信息。

建议将加载ip_vs模块保存到/etc/rc.local文件中。

下面将介绍LVS所支持的主要负载调度算法，以及在LVS负载均衡调度器上如何使用ipvsadm管理工具

LVS的负载调度算法：

轮询(rr)：将收到的访问请求按照顺序轮流分配给群集中的各个节点（真实服务器），均等地对侍每一台服务器，而不管服务器实际的连接数和系统负载。

加权轮询(wrr)：根据真实服务器的处理能力轮流分配收到的访问请求，调度器可以自动查询各节点的负载情况，并动态调整其权重。这样可以保证处理能力强的服务器承担更多的访问流量。

最少连接(lc)：根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点。如果所有服务器节点性能相近，采用这种方式可以更好地均衡负载。

加权最少连接(wlc)：在服务器节点的性能差异较大的情况下，可以为真实服务器自动调整权重，权重较高的节点将承担更大比例的活动连接负载。

ipvsadm是在负载调度器上使用的LVS群集管理工具，通过调用ip_vs模块来添加、删除服务器节点，以及查看群集的运行状态。在RHEL6系统中，需要手动安装ipvsadm-1.25-9软件包。

LVS群集的管理工作主要包括：创建虚拟服务器、添加服务器节点、查看群集节点状态、删除服务器节点、保存负载分配策略等。

案例1：地址转换模式（LVS-NAT）

在NAT模式的群集中，LVS负载调度器是所有节点访问internet的网关服务器，其外网地址172.16.16.172同时也作为整个群集的VIP地址。LVS调度器具有两块网卡，分别连接内外网，如图所示：

对于LVS负载调度器来说，需使用iptables为出站响应配置SNAT转发规则，以便节点服务器能够访问internet。所有的节点服务器（节点1：192.168.7.21节点2：192.168.7.22）、共享存储（192.168.7.250）均位于私有网络内，其默认网关设为LVS负载调度器的内网地址（192.168.7.254）。

在负载调度器主机上配置负载调度器，具体操作如下：

1）配置SNAT转发策略：

修改sysctl.conf文件，开启路由转发功能并使修改生效

在nat表的postrouting规则链上创建SNAT策略

1）配置负载分配策略：

ipvsadm �Cl或ipvsadm -L 显示ipvadm的策略

ipvsadm �CC 清除ipvsadm原有的策略或serviceipvsadmstop也可以清除策略

创建虚拟服务器和添加服务器节点：

注：

第1条命令：清除原有策略；也可以使用service ipvsadm stop清除策略

第2条命令：创建虚拟服务器，群集的VIP地址为172.16.16.172，针对TCP的80端口提供负载分流服务，使用的调度算法为轮询。上述操作中，选项-A表示添加虚拟服务器，-t用来指定VIP地址及TCP端口，-s用来指定负载调度算法------轮询（rr）、加权轮询（wrr），最少连接(lc)、加权最少连接(wlc)。若希望使用保持连接，还应添加”-p600”选项，其中600为保持时间（秒）。

第3、4条命令：添加服务器节点，为虚拟服务器172.16.16.172添加两个服务器节点，IP地址依次为192.168.7.21、192.168.7.22。上述操作中，选项-a表示添加真实服务器，-t用来指定VIP地址及TCP端口，-r用来指定RIP地址及TCP端口，-m表示使用NAT群集模式（-g： DR模式、-i：TUN模式），-w用来设置权重（权重为0时表示暂停节点）。

第5条命令：保存策略，要停止selinux，否则策略不会被保存；也可以使用ipvsadm-save >/etc/sysconfig/ipvsadm保存策略

第6条命令：设置ipvsadm服务为自动启动

2）查看群集节点状态

结合选项-L可以列表查看LVS虚拟服务器，可以指定只查看某一个VIP地址（默认为查看所有），结合选项-n将以数字形式显示地址、端口等信息。

查看节点状态：

上述输出结果中，Forward列下的Masq对应masquerade（地址伪装），表示采用的群集模式为NAT，如果是Route，则表示采用的群集模式为DR 。

在共享存储设备主机上配置共享存储服务（这里使用NFS发布共享服务），具体操作如下：

NFS服务的实现依赖于RPC（remoteprocesscall，远程过程调用）机制，以完成远程到本地的映射过程。在RHEL6系统中，需要安装 nfs-utils、rpcbind软件包来提供NFS共享服务，前者用于NFS共享发布和访问，后者用于RPC支持。

将NFS服务器上的/opt/wwwroot目录共享给群集中服务器节点（这里用到的是RHEL5.5系统）

其中客户机地址可以是主机名、IP地址、网段地址，允许使用*或?通配符；权限选项中的rw表示允许读写（ro为只读），sync表示同步写入，no_root_squash表示当客户机以root身份访问时赋予本地root权限（默认是root_squash，将作为nfsnobody用户降权对侍）

启动相关服务：

注意:rhel5系统中RPC服务脚本是portmap而rhel6系统中RPC服务脚本是rpcbind

注意防火墙规则的设置，要不就将iptables服务停止。

在节点服务器主机上配置节点服务器，具体操作如下：

所有的节点服务器均使用相同的配置，包括httpd服务端口、网站文档内容。实际上各节点的网站文档可存放在共享存储设备中，从而免去同步的过程。

安装httpd软件包，创建测试网页

其他服务器节点做相同的备配

注：

1、每一个节点服务器若开启iptables防火墙，要在防火墙上创建允许http数据流的规则

iptables-I INPUT �Cp tcp - -dport 80 �Cj ACCEPT

2、LVS负载调度器若开启iptables防火墙，要在防火墙上的INPUT、FORWARD链上创建允许http数据流的规则。

iptables-I INPUT �Cp tcp - -dport 80 �Cj ACCEPT

iptables-I FORWARD-p tcp- -sport 80 �Cj ACCEPT

serviceiptables save

测试LVS群集：

安排多台测试机，从internet中直接访问http://172.16.16.172，将能够看到由真实服务器提供的网面内容

在LVS负载调度器中，通过查看节点状态可以观察当前的负载分配情况，对于轮询算法来说，每个节点所获得的连接负载应大致相当

删除服务器节点：

需要从服务器池中删除某一个节点时。使用选项-d。执行删除操作必须指定目标对象，包括节点地址、虚拟IP地址。对于ipvsadm的更多可以--help或者man

保存负载分配策略

使用导出/导入工具ipvsadm-save/ipvsadm-restore可以保存、恢复LVS策略，操作类似于 iptables规则的导出、导入，通过系统服务ipvsadm也可以保存策略，例如： service ipvsadm save；当然也可以快速清除、重建负载分配策略

service ipvsadm stop//停止服务(清除策略)

service ipvsadm start//启动服务（重建规则）