keepalived+LVS/DR的搭建

  集群
1 高性能计算机集群HPC
通过以集群开发的并行应用程序，解决复杂的科学问题

2 负载均衡（LB）集群
客户端负载在计算机集群中尽可能平均分摊

3 高可用（HA）集群
避免单点故障，当一个系统发生故障时，可以快速迁移 

  LVS集群（LB）
前端：负载均衡层
由一台或多台负载调度器构成

中间：服务器群组层
由一组实际运行应用服务的服务器组成

底端：数据共享存储层
提供共享存储空间的存储区域

Driector Server:调度服务器
将负载分发到Real Server的服务器

Real Server：真实服务器
真正提供应用服务的服务器

VIP：虚拟IP地址
公布给用户访问的虚拟IP地址

RIP：真实IP地址
集群节点上使用的IP地址

DIP：调度器连接点服务器的IP地址

工作模式：
LVS/NAT：通过网络地址转换实现的虚拟服务器
缺点：大并发访问时，调度器的性能成为瓶颈

LVS/DR：直接使用路由技术实现虚拟服务器
节点服务器需要配置VIP，注意MAC地址广播

LVS/TUN：通过隧道方式实现虚拟服务器

负载均衡调度算法：
(Round Robin)rr轮询：将客户端请求平均分发到Real Server 
(Weighted Round Robin)wrr加权轮询：根据Real Server权重值进行轮询调度
(Least Connections)lc最少连接：选择连接数最少的服务器
(Weighted Least Connections)wlc加权最少连接:根据Real Server权重值，选择连接数最少的服务器
(Source Hashing)sh源地值散列：根据请求的目标IP地址，作为散列键(Hash Key)从静态分配的散列表找出对应的服务器

  LVS/NAT 
service iptables stop 关闭防火墙
chkconfig iptables off

chkconfig  httpd on
echo 192.168.4.51 > /var/www/html/test.html
service httpd  start 起服务
chkconfig  httpd on  开机自起

yum -y install elinks  
elinks  --dump http://192.168.4.51/test.html

配置分发器50：
1 开启内核路由功能
2 装包 
3 添加虚拟服务
4 添加realserver
5 启动服务
6 测试

1 开启内核路由功能
vim /etc/sysctl.conf 
7 net.ipv4.ip_forward = 1 开启路由功能

service network restart 重起网卡

网络服务51/52
1.1 指定网关地址
临时：
route -n
Flags:UG
route add default gw  192.168.4.50
      del

vim /etc/sysconfig/network-scripts/ifcfg-eth1
GATEWAY=192.168.4.50

客户端2.253
1.2 指定网关地址
临时：
route -n
Flags:UG 
route add default gw  192.168.2.50
      del

vim /etc/sysconfig/network-scripts/ifcfg-eth1
GATEWAY=192.168.4.50

2 装包 ipvsadm
wget ftp://192.168.4.254/xixi/LoadBalancer/ipvsadm-1.26-4.el6.x86_64.rpm
rpm -ivh ipvsadm-1.26-4.el6.x86_64.rpm

ipvsadm 用法
-A 添加虚拟服务
-t 设置集群地址（VIP，Vitual IP）
-s 指定负载调度算法
-a 添加真实服务器
-d 删除真实服务器
-r 指定真实服务器（Real Server）的地址
-m 使用NAT模式
-g 使用DR模式
-i 使用TUN模式
-w 为节点服务器设置权重，默认为1
-Ln  查看
-E  修改负载均衡调度算法

3 添加虚拟服务
ipvsadm -A -t  192.168.2.50:80 -s  rr 

4 添加realserver
ipvsadm -a  -t  192.168.2.50:80  -r 192.168.4.51:80 -m
ipvsadm -a  -t  192.168.2.50:80  -r 192.168.4.52:80 -m
service ipvsadm save  保存
chkconfig ipvsadm on
删除realserver
ipvsadm -d  -t  192.168.2.50:80  -r 192.168.4.52:80 -m
修改算法
ipvsadm -E  -t  192.168.2.50:80  -r 192.168.4.52:80 -wrr
修改权重
ipvsadm -e  -t  192.168.2.50:80  -r 192.168.4.52:80 -w 3 -m

ipvsadm -C  清空所有
service ipvsadm save 

5 启动服务
service ipvsadm start
service ipvsadm startus
ipvsadm -Ln
ipvsadm -Ln --stats

curl   http://192.168.2.50/test.html

====================================================================
====================================================================

  LVS/DR
DR用虚拟VIP地址来解决调度器的瓶颈，
实现后端服务器直接给客户端回包。
配置LVS/DR模式的LB集群
1 配置网站服务器51/52
1.1 配置VIP地址
1.2 修改网络接口运行参数
1.3 运行网站服务并网页文件

2 配置分发器
2.1 装包ipvsadm
2.2 配置VIP地址
2.3 创建虚拟服务
2.4 添加realserver
2.5 保存配置，查看配置

3 客户端访问
3.1 访问

1 配置网站服务器51/52
ifconfig lo:1 192.168.4.252/32
ifconfig lo:1
cd /proc/sys/net/ipv4/conf
cat lo/arp_ignore
echo 1 > lo/arp_ignore  只接收本地接口的广播包 
echo 2 > lo/arp_announce  帮lo口接收包
cat all/arp_ignore       eth0配置
echo 1 > all/arp_ignore
echo 2 > all/arp_announce
cat /etc/rc.local 开机中最后读取的文件

2 配置分发器
2.1 装包ipvsadm
2.2 配置VIP地址
ifconfig eth0:1 192.168.4.252/32
ifconfig eth0:1
2.3 创建虚拟服务
ipvsadm -A -t  192.168.4.252:80 -s  rr
2.4 添加realserver
ipvsadm -a  -t 192.168.4.252:80  -r 192.168.4.51:80 -g
ipvsadm -a  -t 192.168.4.252:80  -r 192.168.4.52:80 -g
2.5 保存配置，查看配置
service ipvsadm save  保存
chkconfig ipvsadm on
ipvsadm -Ln --stats
Prot LocalAddress:Port         Conns   InPkts  OutPkts  InBytes(进包数) OutBytes（出包数）
  -> RemoteAddress:Port
TCP  192.168.4.252:80           10      53      0        4666            0
  -> 192.168.4.51:80                     5        27        0          2359                 0
  -> 192.168.4.52:80                     5        26        0          2307                 0

ipvsadm -Ln        
-> RemoteAddress:Port           Forward     Weight（权重）   ActiveConn   InActConn
TCP  192.168.4.252:80 rr
  -> 192.168.4.51:80            Route（DR模式）   1                0               0         
  -> 192.168.4.52:80            Route（DR模式）   1                0               0     

3 客户端访问
arping -c2 192.168.4.252  （回包MAC地址是分发器的MAC地址）
curl http://192.168.4.252/test.html

解绑IP地址： ifdwon lo:1 ,ifconfig lo:1
或service network restart（重起网卡服务） 

keepalived+LVS/DR

配置LVS/DR
配置后端网站服务器
ifconfig lo:1 192.168.4.252/32 （后端服务器配置VIP）
ifconfig lo:1
cd /proc/sys/net/ipv4/conf
cat lo/arp_ignore
echo 1 > lo/arp_ignore  只接收本地接口的广播包 
echo 2 > lo/arp_announce  帮lo口接收包
cat all/arp_ignore       eth0配置
echo 1 > all/arp_ignore
echo 2 > all/arp_announce

调度器配置
yum -y install ipvsadm
service ipvsadm start
yum -y install  keepalived
service keepalived start

主：
vim /etc/kepalived/kepalived.conf 
 global_defs {
  notification_email {
  abc@localhost   设置报警邮件人邮箱
  }
   notification_email_from [email protected] 设置发件人
   smtp_server 192.168.200.1  定义邮件服务器      
   smtp_connect_timeout 30            
   router_id LVS_DEVEL          设置路由ID号          
   } 
   vrrp_instance webha {  
   state MASTER         主服务器为MASTER,辅助为SLAVE或BACKUP
   interface eth0       定义网卡接口
   virtual_router_id 51  主辅VRID号必须一致
     priority 150       服务器优先级，越大优先级越高
     advert_int 1     
      authentication {
        auth_type PASS 
        auth_pass 123456  主辅服务器密码必须一致
     }
     virtual_ipaddress { 设置VIP
          192.168.4.252   可用多个    
      }
}

 virtual_server 192.168.4.252 80 { 设置VIP
    delay_loop 6
    lb_algo rr    设置LVS调度算法为rr
    lb_kind DR    设置LVS的模式为DR
    nat_mask 255.255.255.0
    persistence_timeout 50 同一客户端访问服务器超过50秒才改变服务器
    protocol TCP
    connect_timeout 3
    nb_get_retry 3
    delay_before_retry 3

 real_server 192.168.4.51 80 {  后端服务器ip地址
        weight 1
 }

real_server 192.168.4.52 80 {  
        weight 1
    }
}

辅：
vim /etc/kepalived/kepalived.conf 
 global_defs {
  notification_email {
  abc@localhost   设置报警邮件人邮箱
  }
   notification_email_from [email protected] 设置发件人
   smtp_server 192.168.200.1  定义邮件服务器      
   smtp_connect_timeout 30            
   router_id LVS_DEVEL          设置路由ID号          
   } 
   vrrp_instance webha {  
   state BACKUP         主服务器为MASTER,辅助为SLAVE或BACKUP
   interface eth0       定义网卡接口
   virtual_router_id 51  主辅VRID号必须一致
     priority 100       服务器优先级，越大优先级越高
     advert_int 1     
      authentication {
        auth_type PASS 
        auth_pass 123456  主辅服务器密码必须一致
     }
     virtual_ipaddress { 设置VIP
          192.168.4.252   可用多个    
      }
}

 virtual_server 192.168.4.252 80 { 设置VIP
    delay_loop 6
    lb_algo rr    设置LVS调度算法为rr
    lb_kind DR    设置LVS的模式为DR
    nat_mask 255.255.255.0
    persistence_timeout 50 同一客户端访问服务器超过50秒才改变服务器
    protocol TCP
    connect_timeout 3
    nb_get_retry 3
    delay_before_retry 3

 real_server 192.168.4.51 80 {  后端服务器ip地址
        weight 1
 }

real_server 192.168.4.52 80 {  
        weight 1
    }
}

重启服务：
service keepalived  restart 

测试：
curl http://192.168.4.252/