LVS+Heartbeat+Ipvsadm+Ldirectord

                                                     LVS+Heartbeat+Ipvsadm+Ldirectord

LVS：功能是通过一组服务器进行负载均衡，通过前段调度器，将网络请求到真实服务器，对客户的透明的，系统的伸缩通过在服务器群中进入和删除节点达到，检测节点或服务故障达到高可用性，负载调度技术在linux的内核中实现，称为：（Linux  Virtual  Server）linux虚拟服务器。

I在调度器的实现技术中，IP负载均衡技术是效率最高的。在已有的IP负载均衡技术中有通过网络地址转换（Network Address Translation）将一组服务器构成一个高性能的、高可用的虚拟服务器，我们称之为VS/NAT技术（Virtual Server via Network Address Translation），大多数商品化的IP负载均衡调度器产品都是使用此方法，如Cisco的LocalDirector、F5的Big/IP和 Alteon的ACEDirector。在分析VS/NAT的缺点和网络服务的非对称性的基础上，我们提出通过IP隧道实现虚拟服务器的方法VS/TUN （Virtual Server via IP Tunneling），和通过直接路由实现虚拟服务器的方法VS/DR（Virtual Server via Direct Routing），它们可以极大地提高系统的伸缩性。所以，IPVS软件实现了这三种IP负载均衡技术，它们的大致原理如下（我们将在其他章节对其工作原 理进行详细描述）

Virtual Server via Network Address Translation （ VS/NAT ）

通过网络地址转换，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端的真实服务器；真实服务器的响应报文通过调度器时，报文的源地址被重写，再返回给客户，完成整个负载调度过程。

Virtual Server via IP Tunneling （ VS/TUN ）

采用NAT技术时，由于请求和响应报文都必须经过调度器地址重写，当客户请求越来越多时，调度器的处理能力将成为瓶颈。为了解决这个问题，调度器把请求报 文通过IP隧道转发至真实服务器，而真实服务器将响应直接返回给客户，所以调度器只处理请求报文。由于一般网络服务应答比请求报文大许多，采用 VS/TUN技术后，集群系统的最大吞吐量可以提高10倍。

Virtual Server via Direct Routing （ VS/DR ）

VS/DR通过改写请求报文的MAC地址，将请求发送到真实服务器，而真实服务器将响应直接返回给客户。同VS/TUN技术一样，VS/DR技术可极大地 提高集群系统的伸缩性。这种方法没有IP隧道的开销，对集群中的真实服务器也没有必须支持IP隧道协议的要求，但是要求调度器与真实服务器都有一块网卡连 在同一物理网段上

针对不同的网络服务需求和服务器配置， IPVS 调度器实现了如下八种负载调度算法：

1.  轮叫（Round Robin）
调度器通过 "轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。

2.  加权轮叫（Weighted Round Robin）
调度器通过 "加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

3.  最少链接（Least Connections）
调度器通过 "最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。

4.  加权最少链接（Weighted Least Connections）
在集群系统中的服务器性能差异较大的情况下，调度器采用 "加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

5.  基于局部性的最少链接（Locality-Based Least Connections）
"基于局部性的最少链接 " 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器 是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务 器，将请求发送到该服务器。

6.  带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）
"带复制的基于局部性最少链接 "调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个 目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务 器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一 台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。

7.  目标地址散列（Destination Hashing）
"目标地址散列 "调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

   8 、源地址散列（ Source Hashing ）
         "源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出      对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空

 

                     安装：LVS+Heartbeat+Ipvsadm+Ldirectory

Heartbeat: 是linux-ha项目，用于设置心跳在主/从节点设置heartbeat，一旦主节点崩溃，从立即接管主节点，将LVS资源设置进去。

ldirector：有两个主要功能，一是调用ipvsadm命令生成lvs的策略，二是对realserver进行健康检测

环境介绍： LVS master——————LVS backup

这种结构有两台双网卡的 linux服务器配置lvs router。

LVS master： eth0 192.168.1.133     //模拟外网

            eth0:0  192.168.1.135      //VIP

            eth1 192.168.2.2         //内网 IP

LVS backup： eth0 192.168.1.132      //模拟外网

            eth0  192.168.1.135      //VIP

            eth1 192.168.2.1         //内网 IP

[ro ot@lvs-1 network-scripts]# cat /etc/hosts
Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1               localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6
192.168.2.1   lvs2
192.168.1.2.2   lvs1

#yum   install    -y   libnet     //安装，否则编译 heartbeat出错

yum install -y perl*

yum install -y mod_perl

yum install -y mod_perl-devel           //安装否则启动heartbeat报错

groupadd  -g  694  haclient               //启动用户
useradd   -u  694  -g haclient hacluster

    一、安装heartbeat包,以下配置主/从都需要编译，和建立配置文件

tar  zxvf heartbeat-2.1.2.tar.gz

 cd   heartbeat-2.1.2

./ConfigureMe  configure   ;  make  ;  make   install 

自动生成在/etc/ha.d/目录中

                                         二、        lvs_dr 脚本配置

[root@lvs1 resource.d]# cat /etc/ha.d/resource.d/lvs_dr
#!/bin/bash
# description: start LVS  of Directorserver
VIP=192.168.1.135          虚拟IP地址
RIP1=192.168.2.4             内部真实IP
RIP2=192.168.2.5             内部真实IP
SERVICE=80   
#http is used in this case
. /etc/rc.d/init.d/functions
case  $1  in
start)   
echo "start LVS of DirectorServer"   
# set ip_forward&send_redirects   
echo "0" >/proc/sys/net/ipv4/ip_forward   
echo "1" >/proc/sys/net/ipv4/conf/all/send_redirects   
echo "1" >/proc/sys/net/ipv4/conf/default/send_redirects   
echo "1" >/proc/sys/net/ipv4/conf/eth0/send_redirects   
# set the Virtual IP Address   
/sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up   
/sbin/route add -host $VIP dev eth0:0   
#Clear IPVS table   
/sbin/ipvsadm -C   
#set LVS
/sbin/ipvsadm -A -t $VIP:$SERVICE -s rr 
/sbin/ipvsadm -a -t $VIP:$SERVICE -r $RIP1:$SERVICE -g -w 1   
/sbin/ipvsadm -a -t $VIP:$SERVICE -r $RIP2:$SERVICE -g -w 1   
/sbin/ipvsadm --set 30 120 300   
#Run LVS   
/sbin/ipvsadm   
#end   
;;   
stop)   
echo "close LVS Directorserver"   
/sbin/ipvsadm -C   
;;   
*)   
echo "Usage: $0 {start|stop}"   
exit 1
esac

#chmod +x /etc/ha.d/resource.d/lvs_dr                 //给脚本权限

                                       三、 authkeys配置

cd     /etc/ha.d/                         //配置文件都在这里手动建立，或者cp过来#1 crc

#vi  authkeys

auth 3
#1 crc
#2 sha1 HI!
3 md5 hello!                    //md5算法

#chmod    0600   authkeys          //改权限

                                      四、 haresources 的配置

 lvs1           192.168.1.135         lvs_dr           ldirectord

主节点机器名         VIP地址                          脚本名字                   ldirectord  

 (注：lvs_switch ，lvs_dr脚本必须位于/etc/init.d/或/etc/ha.d/resource.d下，且不能随机一启动)

                                                          五、 ha.cf配置

http://xxtianxiaxing.javaeye.com/blog/566424       //ha.cf解释

 debugfile /var/log/ha-debug    debbug日志文件路径

logfile /var/log/ha-log       heartbeat 日志文件路径

logfacility     local0  

keepalive  2         心跳检测时间间隔

deadtime  30      多久没有检测到心跳时宣布死亡，这个时间不能设置太小，否则宣告时候出错不准确，谁死谁活的

initdead   60      heartbeat第一次启动时启动其所控资源的时间，是 deadtime时间的两倍以上

warntime  10       指明心跳延迟的时间为十秒。当10秒钟内备份机不能联系上主机(当前活动的服务器，即无心跳信号)，就会往日志中写入一个警告日志，但此时不会切换服务。

udpport 28855       heartbeat监听端口

#bcast    eth0          # Linux 心跳路径，最好不要与正常生产网络中的设备混在一起

#mcast eth0 225.0.0.1 694 1 0  # 说明：采用 udp 多播播来通知心跳，建议在副节点不只一台时使用

ucast eth0 对端节点 IP      采用网卡 eth0 的 udp 单播来通知心跳， ip 应为对方 IP

ucast eht0 192.168.2.1    ( 在备份 dr 上这里的 ip 就写主 dr 的 ip: 192.168.2.2 )

#注：广播，单播，多播，以上三种任选其一即可

#ping    192.168.1.1   ping我内部网关地址，主要是利用ipfail功能检测主服务器网络是否正常

auto_failback on 主节点重启成功后，资源是自动拿回到主节点还是等到副节点down调后拿回资源

watchdog /dev/watchdog      启动内核看门狗功能,能让系统在出现故障1分钟后重启该机器。这个功能可以帮助服务器在确实停止心跳后能够重新恢复心跳。如果使用该特性，则在内核中装入softdog内核模块，用来生成实际的设备文件，输入insmod softdog加载模块。

# stonith用来保证共享存储环境中的数据完整性

node    主节点机器名     (必须同uname -n返回的主机名相同)

node    备份节点机器名

 

node  lvs1

node  lvs2

                                          六、 ldirectord.cf 的配置

 # Global Directives

checktimeout=3   超时时间

checkinterval=1    检测真实服务器的间隔

#fallback=127.0.0.1:80

autoreload=yes   表示修改ldirectord.cf配置文件ldirectord自动加载，不用重启

logfile="/var/log/ldirectord.log"

quiescent=yes  如果真实服务器失败，ldirectord所采取的动作，注意如果主里设为yes，则必须在内核中修改下列文件：

echo "1" >/proc/sys/net/ipv4/vs/expire_quiescent_template
echo "1" >/proc/sys/net/ipv4/vs/expire_nodest_conn

 

# Sample for an http virtual service

virtual= 192.168.1.135:80

        real=（真实服务器IP1）:80 gate

        real=（真实服务器IP2）:80 gate

       real=192.168.2.4:80 gate

     real=192.168.2.5:80 gate       

fallback=127.0.0.1:80 gate   如果两台真实服务器都无效，则定向本机的lo地址

        service=http           指定服务类型

        request="lvstest.html"  检查真实服务器时用到的页面

        receive="lvstest"       所请求页面内的内容

        scheduler=rr           调度方法，rr表示循环调用

        #persistent=600        tcp连接时间

        #netmask=255.255.255.255

        protocol=tcp           协议类型

        checktype=negotiate    ldirectord检测真实服务器的方式

        checkport=80

        request="lvstest.html"

  receive="lvstest”

在http配置的根目录增加lvetest.html，文件内容是lvestest

在ftp配置的根目录增加lvetest.html，文件内容是lvestest

# /etc/init.d/heartbeat start      启动服务，两台可以同时启动，或者先启动主LVS是否启动了VIP地址

#tail -f /var/log/messages        同时查看日志是否正常启动    

BUG 修复否则启动失败，注释掉一下内容

# vi +3704 /usr/sbin/ldirectord

#use Mail::Send;

#

#        &ld_log("emailalert: $subject");

##

#        unless ($emailmsg = new Mail::Send Subject=>$subject, To=>$to_addr

#                        and $emailfh = $emailmsg->open

#                        and print $emailfh "Log-Message: $subject\n" .

##                                          "Daemon-Status: " .

#                                           &daemon_status_str() . "\n"

##                       and $emailfh->close) {

#                &ld_log("failed to send email message\n");

#                $status = 1;

#        }

主从同时都启动情况下，测试主从是否可以连通，断开eth1 心跳线网卡，在window主机ping虚拟网卡IP地址，使用arp -a 看看IP地址对应的MAC地址，是否为主的MAC地址，从接管后主的VIP还会存在，在ping虚拟IP地址，检查MAC是否变成从的MAC地址。