LVS作为一款优秀的负载均衡软件,一直受到很多企业的青睐,虽然性能比不上价格昂贵的负载均衡硬件,但对于大部分的业务场景,LVS还是能出色地胜任的。
LVS工作在网络的第四层,内核的tcp/ip栈上,这也决定了它在所有负载均衡软件中性能是最好的。
LVS主要由两部分组成,一个是工作在用户空间的ipvsadm,另一个是工作在内核上的ipvs。ipvsadm主要负载管理集群服务,包括添加、删除、修改集群服务、对数据包进行监控等,真正起到负载均衡的是ipvs。ipvs主要监听在INPUT钩子函数中,一旦发现用户请求的是集群服务,ipvs会将数据包forward到POSTROUTING的钩子函数上,然后转发给后端的realserver.
LVS的几个重要角色和术语:
前端调度器(Director):主要负责将用户的请求转发到后端的realserver。
后端服务器(realserver):运行用户服务器的服务器,如httpd,tomcat等。
VIP:可以理解为对外的ip,用户就是根据这个ip访问集群服务。
DIP:一般为Director的内网ip。
RIP:一般为realserver的内网ip。
LVS主要的工作模式有:NAT(地址转换),DR(直接路由),TUN(ip隧道技术)。下面主要简单搭建下基于NAT模式的LVS集群,暂时不包括高可用功能。
整个资源的分配主要为:
客户端(windows) ip:192.168.1.104
VIP:192.168.1.108
DIP:192.168.10.10
RIP1:192.168.10.11,运行httpd服务
RIP2:192.168.10.12,运行httpd服务
1、配置好资源
对于Director来说,在vmware中添加多一块网卡eth1,并在/etc/sysconfig/network-scripts/ifcfg-eth1,配置ip为192.168.10.10
对于realserver来说,同样是将eth0的ip修改为上述对应的ip。
重启网卡
service network restart
2、安装httpd服务。
为了简便点,此处直接以rpm方式安装
分别在192.168.10.11和192.168.10.12中执行httpd的安装
yum install -y httpd
设置开机自启动
chkconfig httpd on
httpd默认的页面文件在/var/www/html下。
在192.168.10.11中添加首页文件
touch /var/www/html/index.html && echo "192.168.10.11" > /var/www/html/index.html
在192.168.10.12中添加首页文件
touch /var/www/html/index.html && echo "192.168.10.12" > /var/www/html/index.html
3、将realserver中的网关指向DIP
由于在nat模式下,进出数据包都要经过director,所以realserver的网关必须要指向director的DIP。
在192.168.10.11中执行:
添加默认的网关
route add default gw 192.168.10.10
route -n结果如下:
在192.168.10.12中执行同样的操作。
4、配置LVS集群服务
首先安装ipvsadm
yum install -y ipvsadm
配置集群服务
ipvsadm -A -t 192.168.1.108:80 -s rr
此处暂时使用轮询调度算法
添加realserver
ipvsadm -a -t 192.168.1.108:80 -r 192.168.10.11 -m
ipvsadm -a -t 192.168.1.108:80 -r 192.168.10.12 -m
打开内核ip_forward功能
echo "1" > /proc/sys/net/ipv4/ip_forward
至此,整个LVS-NAT集群就简单搭建完成了。
查看realserver列表:
ipvsadm -L -n
5、测试
在浏览器上访问VIP:http://192.168.1.108
再次刷新
多次做刷新操作,会看到每次请求都会在两个realserver中交替访问。至此,LVS-NAT的简单搭建就此完成。
LVS-NAT由于进出数据包都经过director,在一些高并发场景下,director容易成为整个集群系统的瓶颈,因此在生产环境中不建议使用此模式,一般都会使用DR模式。另外一个健壮的分布式集群系统还需要提供高可用HA的能力,常见的ha软件有keepalive、heartbeat、corosync等。此部分后续再继续以博客的形式发布出来。