LVS-NAT地址转换模式
负载均衡群集的分层结构：
在典型的负载均衡群集中，包括三个层次的组件：
负载调度器（load balancer，或称为director），负责响应并分发来自客户机的访问请求；后端由大量真实服务器（real server）构成服务器池（server pool）,提供实际的应用服务，整个群集的伸缩性通过增加、删除服务器节点来完成，而这些过程对客户机是透明的；为了保持服务的一致性，所有节点使用共享存储设备。
第一层，负载调度器：访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP（virtual IP,虚拟IP）地址，也称为群集IP地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后平滑替换至备用调度器，确保高可用性。
第二层，服务器池：群集所提供的应用服务（如HTTP、FTP）由服务器池承担，其中的每个节点具有独立的RIP（real IP,真实IP）地址，只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等侍错误排除以后再重新纳入服务器池。
第三层，共享存储：为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性，在linux/unix环境中，共享存储可以使用NAS设备或者提供NFS共享服务的专用服务器。
负载均衡的工作模式：
关于群集的负载调度技术，可以基于IP、端口、内容等进行分发，其中基于IP的负载调度是效果最高的。基于IP的负载均衡模式中，常见的有地址转换(NAT)、IP隧道(TUN)、直接路由（DR）这三种工作模式。
地址转换：简称NAT模式，类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口。服务器节点使用私有IP地址。与负载调度器位于同一个物理网络，安全性要优于其他两种方式。
IP隧道（IPTUNNEL）：简称TUN模式，采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的INTERNET连接直接回应客户机，而不再经过负载调度器。服务器节点分散在互联网中的不同位置。具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信。
直接路由（direct routing）：简称DR模式，采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络。负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道。
三种工作模式中，NAT方式只需要一个公网IP地址，从而成为最易用的一种负载均衡模式，安全性也比较好，许多硬件负载均衡设备就是采用这种方式，相比较而言，DR和TUN模式的负载能力更强大，适用范围更广，但节点的安全性要稍差一些。
LVS虚拟服务器：
Linuxvirtual server是针对LINUX内核开发的一个负载均衡项目。LVS实际上相当于基于IP地址的虚拟化应用。LVS现在已成为LINUX内核的一部分，默认编译为ip_vs模块，必要时能够自动调用，在RHEL6系统中，以下操作可以手动加载ip_vs模块，并查看当前系统中ip_vs模块的版本信息。
建议将加载ip_vs模块保存到/etc/rc.local文件中。
LVS的负载调度算法：
轮询(rr)：将收到的访问请求按照顺序轮流分配给群集中的各个节点（真实服务器），均等地对侍每一台服务器，而不管服务器实际的连接数和系统负载。
加权轮询(wrr)：根据真实服务器的处理能力轮流分配收到的访问请求，调度器可以自动查询各节点的负载情况，并动态调整其权重。这样可以保证处理能力强的服务器承担更多的访问流量。
最少连接(lc)：根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点。如果所有服务器节点性能相近，采用这种方式可以更好地均衡负载。
加权最少连接(wlc)：在服务器节点的性能差异较大的情况下，可以为真实服务器自动调整权重，权重较高的节点将承担更大比例的活动连接负载。
ipvsadm是在负载调度器上使用的LVS群集管理工具，通过调用ip_vs模块来添加、删除服务器节点，以及查看群集的运行状态。在RHEL6系统中，需要手动安装ipvsadm-1.25-9软件包。
LVS群集的管理工作主要包括：创建虚拟服务器、添加服务器节点、查看群集节点状态、删除服务器节点、保存负载分配策略等。
LVS-NAT——地址转换模式
在NAT模式的群集中，LVS负载调度器是所有节点访问internet的网关服务器，其外网地址172.16.16.172同时也作为整个群集的VIP地址。LVS调度器具有两块网卡，分别连接内外网：
对于LVS负载调度器来说，需使用iptables为出站响应配置SNAT转发规则，以便节点服务器能够访问internet。所有的节点服务器（节点1：192.168.10.2 ；节点2：192.168.10.3）、共享存储（192.168.10.4）均位于私有网络内，其默认网关设为LVS负载调度器的内网地址（192.168.10.1）：
在负载调度器主机上配置负载调度器，具体操作如下：
1）配置SNAT转发策略：
修改sysctl.conf文件，开启路由转发功能并使修改生效：
在nat表的postrouting规则链上创建SNAT策略:
[root@LVS ~]# iptables -t nat -I POSTROUTING -s 192.168.10.0/24 -o eth1 -j SNAT --to 172.16.16.172
[root@LVS ~]# iptables -F
[root@LVS ~]# service iptables save
2）配置负载分配策略，rhel6中需要手动安装ipvsadm的相应软件包：
使用ipvsadm -h 或ipvsadm --help获取更多相关命令：
ipvsadm –l或ipvsadm -L 显示ipvsadm的策略：
ipvsadm –C 清除ipvsadm原有的策略或serviceipvsadmstop也可以清除策略
3）创建虚拟服务器和添加服务器节点：
[root@LVS ~]# ipvsadm -C
[root@LVS ~]# ipvsadm -A -t 172.16.16.172:80 -s rr
[root@LVS ~]# ipvsadm -a -t 172.16.16.172:80 -r 192.168.10.2:80 -m -w 1
[root@LVS ~]# ipvsadm -a -t 172.16.16.172:80 -r 192.168.10.3:80 -m -w 1
[root@LVS ~]# service ipvsadm save
[root@LVS ~]# chkconfig ipvsadm on
[root@LVS ~]# cat /etc/sysconfig/ipvsadm
-C 行：清除原有策略；也可以使用service ipvsadm stop清除策略
-s rr行：创建虚拟服务器，群集的VIP地址为172.16.16.172，针对TCP的80端口提供负载分流服务，使用的调度算法为轮询。上述操作中，选项-A表示添加虚拟服务器，-t用来指定VIP地址及TCP端口，-s用来指定负载调度算法------轮询（rr）、加权轮询（wrr），最少连接(lc)、加权最少连接(wlc)。若希望使用保持连接，还应添加”-p600”选项，其中600为保持时间（秒）。
-m -w两行：添加服务器节点，为虚拟服务器172.16.16.172添加两个服务器节点，IP地址依次为192.168.10.2、192.168.10.3。上述操作中，选项-a表示添加真实服务器，-t用来指定VIP地址及TCP端口，-r用来指定RIP地址及TCP端口，-m表示使用NAT群集模式（-g： DR模式、-i：TUN模式），-w用来设置权重（权重为0时表示暂停节点）。
Service ipvsadm save：保存策略，要停止selinux，否则策略不会被保存；也可以使用ipvsadm-save >/etc/sysconfig/ipvsadm保存策略
chkconfig ipvsadm on：设置ipvsadm服务为自动启动
4）查看群集节点状态：
结合选项-L可以列表查看LVS虚拟服务器，可以指定只查看某一个VIP地址（默认为查看所有），结合选项-n将以数字形式显示地址、端口等信息。
[root@LVS ~]# ipvsadm -Ln
[root@LVS ~]# ipvsadm -Lnc
上述输出结果中，Forward列下的Masq对应masquerade（地址伪装），表示采用的群集模式为NAT，如果是Route，则表示采用的群集模式为DR 。
在共享存储设备主机上配置共享存储服务（这里使用NFS发布共享服务），具体操作如下：
NFS服务的实现依赖于RPC（remoteprocesscall，远程过程调用）机制，以完成远程到本地的映射过程。在RHEL6系统中，需要安装 nfs-utils、rpcbind软件包来提供NFS共享服务，前者用于NFS共享发布和访问，后者用于RPC支持。
将NFS服务器上的/opt/wwwroot目录共享给群集中服务器节点，rhel 6.0为例：
其中客户机地址可以是主机名、IP地址、网段地址，允许使用*或?通配符；权限选项中的rw表示允许读写（ro为只读），sync表示同步写入，no_root_squash表示当客户机以root身份访问时赋予本地root权限（默认是root_squash，将作为nfsnobody用户降权对侍）
启动相关服务：
注意:rhel5系统中RPC服务脚本是portmap而rhel6系统中RPC服务脚本是rpcbind
注意防火墙规则的设置，要不就将iptables服务停止。
在节点服务器主机上配置节点服务器，具体操作如下：
所有的节点服务器均使用相同的配置，包括httpd服务端口、网站文档内容。实际上各节点的网站文档可存放在共享存储设备中，从而免去同步的过程。
安装httpd软件包，创建测试网页：
修改/etc/fstab文件，实现自动挂载：
启动httpd服务：
根据SELinux策略配置，Apache服务可能无法读取nfs_t或cifs_t类型。通过布尔值开启或关闭来控制哪个服务被允许访问nfs_t和cifs_t类型。
eg：使用setsebool 命令的打开httpd_use_nfs布尔变量后，httpd即可访问nfs_t类型的nfs共享资源了：
[root@web1 ~]# setsebool -P httpd_use_nfs on
web节点服务器2的设置：
每一个节点服务器若开启iptables防火墙，要在防火墙上创建允许http数据流的规则：
iptables -I INPUT –p tcp - -dport 80 –j ACCEPT
LVS负载调度器若开启iptables防火墙，要在防火墙上的INPUT、FORWARD链上创建允许http数据流的规则。
iptables -I INPUT –p tcp - -dport 80 –j ACCEPT
iptables -I FORWARD -p tcp - -sport 80 –j ACCEPT
service iptables save
测试LVS群集：
安排多台测试机，从internet中直接访问 http://172.16.16.172，将能够看到由真实服务器提供的网面内容:
在LVS负载调度器中，通过查看节点状态可以观察当前的负载分配情况，对于轮询算法来说，每个节点所获得的连接负载应大致相当：
关闭其中的一个web节点，继续查看：
删除服务器节点：
需要从服务器池中删除某一个节点时。使用选项-d。执行删除操作必须指定目标对象，包括节点地址、虚拟IP地址。
需要删除整个虚拟服务器时，使用选项-D并指定虚拟IP地址即可，无需指定节点。
保存负载分配策略
使用导出/导入工具ipvsadm-save/ipvsadm-restore可以保存、恢复LVS策略；
通过系统服务ipvsadm也可以保存策略：
service ipvsadm save ——当然也可以快速清除、重建负载分配策略
service ipvsadm stop ——停止服务(清除策略)
service ipvsadm start ——启动服务（重建规则）
欢迎关注微信公众号：小温研习社
