本次实验目标是:
搭建两台Web服务器,然后通过Keepalived来实现热备,其中任务一台出现故障,对外仍然可以正常提供服务!
什么是双机热备?
通常说的双机热备是指两台机器都在运行,但并不是两台机器都同时在提供服务。
当提供服务的一台出现故障的时候,另外一台会马上自动接管并且提供服务,而且切换的时间非常短。
keepalived的工作原理
keepalived的工作原理是VRRP(Virtual Router Redundancy Protocol)虚拟路由冗余协议。
在VRRP中有两组重要的概念:VRRP路由器和虚拟路由器,主控路由器和备份路由器。
VRRP路由器是指运行VRRP的路由器,是物理实体,虚拟路由器是指VRRP协议创建的,是逻辑概念。
一组VRRP路由器协同工作,共同构成一台虚拟路由器。
Vrrp中存在着一种选举机制,用以选出提供服务的路由即主控路由,其他的则成了备份路由。
当主控路由失效后,备份路由中会重新选举出一个主控路由,来继续工作,来保障不间断服务。
实验环境
下面来以keepalived结合httpd来实现一个web服务器的双机热备。
(一般是用 keepalived + Nginx或者haproxy,这里仅是实验用了httpd ),
我们在本文中的测试环境如下
两台Web服务器(httpd),和一个虚拟服务器(Keepalived):
master(主Web服务器):CentOS7+httpd2.4.6 192.168.1.231
backup(备用Web服务器): CentOS7+httpd2.4.6 192.168.1.232
vip(Keepalived虚拟的): 192.168.1.230
测试环境的网络topology图如下:
系统环境:
- centos 7 1.1.1.1
- centos 7 1.1.1.2
- VIP: 1.1.1.3
安装keepalived 和 必要环境组件及应用
安装方式一:
用yum包管理来安装,方便快捷
yum -y install gcc openssl-devel popt-devel libnl* kernel-devel ipvsadm libnfnetlink libnfnetlink-devel net-snmp-agent-libs
yum -y install keepalived
安装方式二:
wget 下载源码包方式安装
安装必要环境组件及应用
yum -y install gcc openssl-devel popt-devel libnl* kernel-devel ipvsadm libnfnetlink libnfnetlink-devel net-snmp-agent-libs
下载keepalived
wget http://www.keepalived.org/software/keepalived-1.3.5.tar.gz
建立内核软连接
ln -s /usr/src/kernels/$(uname -r)/ /usr/src/linux
解压并进行编译安装
tar xvf keepalived-1.3.5.tar.gz
cd keepalived-1.3.5
./configure
make && make install
为方便以后操作给应用部分文件创建软连接
ln -s /usr/local/etc/keepalived/ /etc/
ln -s /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /usr/local/sbin/keepalived /usr/sbin/
==#也可以用yum直接安装==
实验具体配置步骤:
# 查看Vip和网卡
ip a
# 启动keepalived
systemctl start keepalived.service
# 查看进程keepalived 是否启动成功
ps -aux |grep keepalived
# 开启服务器ip转发功能 重点
echo 1 > /proc/sys/net/ipv4/ip_forward
# 查看网卡上的VIP配置是否生效
ifconfig enp2s0:vip
# 查看防火墙
setenforce
# 检测keepalived 状态
tail -f /var/log/messages
# 同步服务器时间
ntpdate -d ntp.sjtu.edu.cn
# 关闭服务器防火墙 centos7 版本
systemctl stop firewalld.service
# 关闭服务器自带防火墙
vi /etc/sysconfig/selinux
# 关闭iptables 防火墙
iptables -F
备机器配置:
! Configuration File for keepalived
global_defs {
notification_email {
[email protected]
[email protected]
[email protected]
}
notification_email_from [email protected]
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVELB
vrrp_skip_check_adv_addr
#vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state BACKUP
interface enp3s0
virtual_router_id 51
priority 99
nopreempt
advert_int 1
mcast_src_ip 备服务器ip
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
虚拟ip
}
}
virtual_server 虚拟ip 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 备服务器ip 80 {
weight 1
TCP_CHECK { #realserver的状态检测设置部分,单位是秒
connect_timeout 10 #表示3秒无响应超时
nb_get_retry 3 #表示重试次数
delay_before_retry 3 #表示重试间隔
connect_port 80
}
}
}
主机器配置:
! Configuration File for keepalived
global_defs {
notification_email {
[email protected]
[email protected]
[email protected]
}
notification_email_from [email protected]
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVELA
vrrp_skip_check_adv_addr
#vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state MASTER
interface enp2s0
virtual_router_id 51
nopreempt
priority 100
advert_int 1
mcast_src_ip 主服务器ip
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
虚拟ip
}
}
virtual_server 虚拟ip 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 主服务器ip 80 {
weight 1
TCP_CHECK { #realserver的状态检测设置部分,单位是秒
connect_timeout 10 #表示3秒无响应超时
nb_get_retry 3 #表示重试次数
delay_before_retry 3 #表示重试间隔
connect_port 80
}
}
}
下面附一份配置说明:
global_defs {
router_id LVS_DEVEL_A #这个id自已改下,不重复即可
}
vrrp_instance VI_1 {
state MASTER #主服务器就写MASTER,备用的就写BACKUP
interface ens33 #网卡名称
virtual_router_id 51 #主、备必须一样
priority 100 #主、备机取不同的优先级,主机值较大,备份机值较小,值越大优先级越高
advert_int 1 #VRRP Multicast广播周期秒数
authentication {
auth_type PASS #VRRP认证方式,主备必须一致
auth_pass 1111 #密码
}
virtual_ipaddress {
192.168.1.230/24 #VRRP HA VIP虚拟地址
}
}
所有配置完成之后,把主备服务器的keepalived服务和nginx web 服务器 都启动,
查看进程,看keepalived是否启动成功:
情况:
主备服务器都启动的情况下,VIP 绑定在主服务器上,
主服务器宕机的情况下,VIP 绑定在备服务器上,
备服务器宕机的情况下,VIP绑定在主服务器上。
主备都宕机,那就等着背锅吧。祝你好运!!!
总结
以上就是我在项目实践上的关于nginx + keepalived 的实践,无感切换服务。VIP这个是从哪里来的,暂时不得而知。刚开始遇到一个情况是
配置完keepalived之后出现
ping VIP不通 解决办法,
vim /etc/keepalived/keepalived.conf
把这个注释就可以了
vrrp_strict
当任意服务器出现宕机的情况下是VIP是可以漂移的,内网都能访问到两台机器上的服务,但是外网只能访问到主服务器上的服务,无法访问
到备服务器上的服务。出现
这个问题之后,我一度怀疑是服务器时间不同步,服务器防火墙,服务器配置的问题,但是具体问题出在哪里还有有点模糊,最后发现问题在服务器的ip转发功能没有
开启的问题上,被这个问题折磨了一两天。所以在此记录一下,与大家分享,让大家可以尽快的跳过这个坑,在技术上更近一步。
其他以及ipvsdam 这个调度工具没有使用。有兴趣的朋友可以去试试。欢迎交流,批评指正。有问题,请留言,谢谢!
首发于2018年3月2日 北京。