前面已经介绍了实现MySQL和RabbitMQ的集群部署,但是一个OpenStack环境的高可用性,简单的说就是任何一个节点的高可用性,每个节点又包括不同的服务和组件,这里面我们先不具体谈及细节,也就是说,先以控制节点为例,我们需要准备多台控制节点,但是前端需要对外暴露出一个VIP,网络节点或者计算节点只需要连接这个VIP即可,那么VIP连接之后,会自动负载到该集群环境下任意一台机器上,行业术语为飘到哪台机器,这次我们就实现一下VIP的环境模拟。
当然,如果你有硬件设备如F5就不需要了解这个了,本篇主要使用软件实现,而且也是非常成熟的LVS+Keepalived来实现。
LVS是由章文嵩博士在1998年提出的,主要实现虚拟IP,而Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的web服务器。主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现。
本环境并没有对LVS+Keepalived进行主/备搭建,使用单机来实现,后端连接两个SuperMap iSever来进行测试。
LVS+Keepalived:10.0.0.10 VIP:10.0.0.200
iServer1:10.0.0.11
iServer2:10.0.0.12
1、在LVS+Keepalived集群上安装相关软件
需要说明的是,如果该机器只安装LVS,需要使用ipvsadm进行配置,但是该环境已经安装了keepalived,只需要修改keepalived.conf配置文件即可。
root@vip:~# apt-get install ipvsadm keepalived
2、检测LVS安装
安装完毕之后,输入ipvsadm,弹出如下信息说明安装成功
root@vip:~# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
3、修改/etc/keepalived/keepalived.conf配置文件,如果没有,添加即可
global_defs {
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER #如果使用主/备,另外一台机器需要设置为BACKUP
interface eth0 #检测网络端口
virtual_router_id 51 #主备的虚拟机路由ID必须一致
priority 150 #主备的优先级,主优先级要大于备
advert_int 1 #VRRP Multicast广播周期秒数
authentication {
auth_type PASS # VRRP认证方式
auth_pass 1111 # VRRP口令字
}
virtual_ipaddress {
10.0.0.200 # 如果有多个VIP,继续换行填写
}
}
#iServer的监听端口为8090
virtual_server 10.0.0.200 8090{
delay_loop 1 # 每隔1秒查询realserver状态
lb_algo wrr # lvs 算法
lb_kind DR # Direct Route
protocol TCP # 用TCP协议检查realserver状态
#第一台iserver物理环境
real_server 10.0.0.11 8090{
weight 3
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 8090
}
}
#第二台iserver物理环境
real_server 10.0.0.12 8090 {
weight 3
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 8090
}
}
}
4、重启keepalived服务,然后再次检查ipvsadm
root@vip:~# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 10.0.0.200:8090 wrr
-> ubuntu:8090 Route 3 0 0 -> ubuntu2:8090 Route 3 0 0
5、这时候,可以测试使用其他机器是否可以ping通LVS机器的物理IP和虚拟IP。
6、检查iserver1和iserver2的服务状态和连接manager是否正常。
7、对两台iserver机器/etc/rc.local添加配置信息,然后重启
ifconfig eth0:0 10.0.0.200 netmask 255.255.255.0 broadcast 10.0.0.255 up
route add -host 10.0.0.200 dev eth0:0
echo "0" > /proc/sys/net/ipv4/ip_forward
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
8、重启之后确保每台iserver的机器的服务和manager都是正常的。
为了区分使用VIP连接,能够飘到不同的iserver机器上,我分别对不同机器的服务创建的不一样。
iserver1:10.0.0.11