Gentoo下keepalived+LVS实验
KEEPLIVE+LVS实现高可用服务器集群
Keepalived简介（摘自百度百科）
keepalived是一个类似于layer3,4&5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。
LVS简介（摘自百度百科）
LVS是LinuxVirtualServer的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。章文嵩博士目前工作于阿里集团，主要从事集群技术、操作系统、对象存储与数据库的研究。
生产环境网络图及Keepalived+lvs环境实际访问流程
实验环境
VMware8.0.2下开4台LINUX服务器，WEBreal01和WEBreal02预先配置过LAMP环境，具体配置如下：
CPU：单个双核
硬盘：20GSATA
内存：256M
操作系统：Linux-gentoo-3.8.13
网络环境，如下图：
Geteway:192.168.254.2/24
VirtualIP:192.168.254.10/32(掩码32位，保证和4台真实的服务器不在同一个网段)
DRMASTER:192.168.254.11/24
DRBACKUP:192.168.254.12/24
WEBreal01:192.168.254.101/24
WEBreal02:192.168.254.102/24
实验目的：
实现在DRMASTER服务器出现故障时，DRBACKUP会自动充当DRMASTER角色，实现集群服务器的高可用。
所需软件：
Ipvsadm管理虚拟服务器软件
Keepalived服务器高可用软件
实验步骤:
1.重新编译内核添加LVS（Linuxvitualservers）网络支持;//MASTER&BACKUP
1.1内核编译
cd/usr/src/linux
makemenuconfig
|
Networksupport---> NetworkOptions---> NetworkPacketflilteringframework(Netfilter)---> <*>IPvirtualserversupport [*]IPvirtualserverdebugging (12)IPVSconnectiontablesize(theNthpowerof2) [*]TCPloadbalancingsupport [*]UDPloadbalancingsupport <M>round-robinscheduling <M>weightedround-robinscheduling <M>least-connectionscheduling <M>weightedleast-connectionscheduling
|
make&&makemodels_install
cparch/i386/boot/bzImage/boot/gentoo-kernel-3.8.13-lvs
通过以上编译，LVS服务器支持两种协议（TCP/UDP）四种调度算法（rr/wrr/lc/wlc）的负载均衡，如果有其他需要可以另外添加。
1.2grub启动菜单编辑
vi/boot/grub/grub.conf
|
titleGentooLinux3.8.13-gentoo-lvs root(hd0,0) kernel/boot/kernel-3.8.13-gentoo-lvsroot=/dev/sda3 |
1.3重启系统选择kernel-3.8.13-gentoo-lvs登录
2.ipvsadm的安装
USE="static-libs"emerge-avlibnlpoptipvsadm;//MASTER&BACKUP
3.keepalived的安装
emerge-avkeepalived;//MASTER&BACKUP
4.开启负责路由机制
vi/sbin/sysctl.conf;//MASTER&BACKUP
|
net.ipv4.ip_forward=1 net.ipv4.conf.default.rp_filter=1 net.ipv4.conf.all.rp_filter=1 net.ipv4.conf.all.accept_source_route=0 net.ipv4.conf.all.accept_redirects=0 |
sysctl-p;//查看
5.touch/var/lib/ipvsadm/roules-save;//否则会报错,MASTER&BACKUP
chmod755-R/var/lib/ipvadm/roules-save
6.在DRMASTER和DRBACKUP编写lvs-master.sh/lvs-backup.sh，脚本见附件
Ifconfig查看虚拟子端口
Ipvsadm�Cln查看虚拟服务器状态
7.在WEBREAL01和WEBREAL02上编写realserver.sh,脚本见附件
8.编辑keepalived的配置文件
Cp/etc/keepalived/keepalived.conf/etc/keepalived/keepalived.conf.bak
Vi/etc/keepalived/keepalived.conf
DRMASTER配置文件
见附件keepalived-master.conf
DRBACKUP配置文件
见附件keepalived-backup.conf
9.WEBREAL01&WEBREAL02上的sysctl.conf配置
Vi/etc/sysctl.conf
|
net.ipv4.ip_forward=0 net.ipv4.conf.default.rp_filter=1 net.ipv4.conf.all.rp_filter=1 net.ipv4.conf.lo.arp_ignore=1 net.ipv4.conf.lo.arp_announce=2 net.ipv4.conf.all.arp_ignore=1 net.ipv4.conf.all.arp_announce=2
|
10.运行DRMASTER&DRBACKUP脚本
Shlvs.shstart
Ifconfig查看虚拟子端口
Ipvsadm�Cln查看虚拟服务器状态
11.运行WEBREAL01&WEBREAL02上的脚本
Shlvs.shstart
12.开启keepalived服务
/etc/init.d/keepalivedstart
Rc-updateaddkeepaliveddefault
13．测试
13.1打开DRMASTER&DRBACKUP上日志文件
Tail�Cf/var/log/messages
13.2重新打开一个终端连接到DRMARSTER
关闭keepalived服务，或者直接在DRMASTER上关闭网络，留意DRBACKUP上日志的变化
打开keeplived服务，留意DRBACKUP上日志的变化
DRMASTER上的日志变化
到这里说明keepalived高可用已经起作用了
13.3测试2
在realserver01上，vi/var/www/localhost/htdocs/index.php,添加
|
<html> Thisisrealserver01,Ipaddressis192.168.254.101 </html> |
在realserver02上，vi/var/www/localhost/htdocs/index.php,添加
|
<html> Thisisrealserver02,Ipaddressis192.168.254.102 </html> |
找两台可以访问192.168.254.0/24网段的机器，打开浏览器，访问http://192.168.254.10，如果是做的轮询，应该是101和102都有访问，关闭其中一台realserver看是否可以正常访问另一台，注意：keepalived.conf中的persistence_timeout（登录保留时间限制，测试的时候可以注销掉）配置。
14.遇到的问题
14.1LVS不转发到实际的服务
故障原因：内核编译少了下面两项，就是TCP和UDP负载均衡支持。
[*]TCPloadbalancingsupport
[*]UDPloadbalancingsupport
14.2负载均衡轮询机制没有起作用，所有的都转发到realserver02上，关闭
realserver02以后LVS又不能转发
故障原因：keepalived配置文件中mcast_src_ip选项都配置成了mcast_src_ip
192.168.254.11，将BACKUP机器修改为192.168.254.12，问题解决！
附1：keepalived.conf配置
脚本见附件keepalived.conf
附2：LVS的简单说明
lvs目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）；
八种调度算法（rr,wrr,lc,wlc,lblc,lblcr,dh,sh）。
在调度器的实现技术中，IP负载均衡技术是效率最高的。在已有的IP负载均衡技术中有通过网络地址转换（NetworkAddressTranslation）将一组服务器构成一个高性能的、高可用的虚拟服务器，我们称之为VS/NAT技术（VirtualServerviaNetworkAddressTranslation），大多数商品化的IP负载均衡调度器产品都是使用此方法，如Cisco的LocalDirector、F5的Big/IP和Alteon的ACEDirector。在分析VS/NAT的缺点和网络服务的非对称性的基础上，我们提出通过IP隧道实现虚拟服务器的方法VS/TUN（VirtualServerviaIPTunneling），和通过直接路由实现虚拟服务器的方法VS/DR（VirtualServerviaDirectRouting），它们可以极大地提高系统的伸缩性。所以，IPVS软件实现了这三种IP负载均衡技术，它们的大致原理如下（我们将在其他章节对其工作原理进行详细描述），
VirtualServerviaNetworkAddressTranslation（VS/NAT）
通过网络地址转换，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分
派给后端的真实服务器；真实服务器的响应报文通过调度器时，报文的源地址被重写，再返
回给客户，完成整个负载调度过程。
VirtualServerviaIPTunneling（VS/TUN）
采用NAT技术时，由于请求和响应报文都必须经过调度器地址重写，当客户请求越来越
多时，调度器的处理能力将成为瓶颈。为了解决这个问题，调度器把请求报文通过IP隧道
转发至真实服务器，而真实服务器将响应直接返回给客户，所以调度器只处理请求报文。由
于一般网络服务应答比请求报文大许多，采用VS/TUN技术后，集群系统的最大吞吐量可以
提高10倍。
VirtualServerviaDirectRouting（VS/DR）
VS/DR通过改写请求报文的MAC地址，将请求发送到真实服务器，而真实服务器将响应
直接返回给客户。同VS/TUN技术一样，VS/DR技术可极大地提高集群系统的伸缩性。这种
方法没有IP隧道的开销，对集群中的真实服务器也没有必须支持IP隧道协议的要求，但是
要求调度器与真实服务器都有一块网卡连在同一物理网段上。
针对不同的网络服务需求和服务器配置，IPVS调度器实现了如下八种负载调度算法：使用比较多的是以下四种：
轮叫（RoundRobin）
调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均
等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。
加权轮叫（WeightedRoundRobin）
调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样
可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载
情况，并动态地调整其权值。
最少链接（LeastConnections）
调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务
器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好
地均衡负载。
加权最少链接（WeightedLeastConnections）
在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优
化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动
问询真实服务器的负载情况，并动态地调整其权值。