参考:https://blog.csdn.net/qq_32488647/article/details/105386586?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-4
https://blog.csdn.net/qq_38026977/article/details/105247623?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
但原文一中有一些小缺漏,故在这里记录如下,以备日后参考
原理:本方案 NFS 的高可用方案,应用服务器为 Client ,两台文件服务器分别Master和 Slave,使用 keepalived 生成一个虚拟 IP,使用 Sersync 进行 Master 与 Slave 之间文件相互同步,确保高可用。
服务器表格:
Nfs-master: 172.20.10.80
Nfs-slave: 172.20.10.81
虚拟出VIP:172.20.10.82
Client: 172.20.10.20
准备工作
保持三台机关闭防火墙
# 在 Master 和 Slave 上创建共享目录
mkdir /data
# 在 Client 上创建挂载目录
mkdir /qiyuesuodata
安装 NFS 并配置
#在 Client 、Master 和 Slave 服务器上安装 NFS 服务
yum -y install nfs-utils rpcbind
# 在Master 上配置nfs
[root@nfs-master ~]# echo '/data 172.20.10.0/24(rw,sync,all_squash)' >> /etc/exports
# 开启服务
[root@nfs-master ~]# systemctl start rpcbind && systemctl start nfs
# 设置开机自启
[root@nfs-master ~]# systemctl enable rpcbind && systemctl enable nfs
# 在 Slave 上配置nfs
[root@nfs-slave ~]# echo '/data 172.20.10.0/24(rw,sync,all_squash)' >> /etc/exports
# 开启服务
[root@nfs-slave ~]# systemctl start rpcbind && systemctl start nfs
# 设置开机自启
[root@nfs-slave ~]# systemctl enable rpcbind && systemctl enable nfs
# 在 Client 上执行挂载测试
[root@docker-app ~]# showmount -e 172.20.10.80
[root@docker-app ~]# mount -t nfs 172.20.10.80:/data /qiyuesuodata
# 去除挂载
[root@docker-app ~]# umount /qiyuesuodata
# 再测试一下slave(81) ......
配置文件同步
rsync即远程同步,高效。和scp类似,不过rsync可以边复制,边统计、比较,而scp则不能。而sersync则可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或者某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的文件或者目录
1)在 Slave 配置rsync
# 安装 rsync
yum -y install rsync.x86_64
[root@nfs-slave ~]# cat /etc/rsyncd.conf
uid = nfsnobody
gid = nfsnobody
port = 873
pid file = /var/rsyncd.pid
log file = /var/log/rsyncd.log
use chroot = no
max connections = 200
read only = false
list = false
fake super = yes
ignore errors
[data]
path = /data
auth users = qiyuesuo
secrets file = /etc/rsync_salve.pass
hosts allow = 172.20.10.80
# 生成认证文件
echo 'qiyuesuo:qiyuesuo123' > /etc/rsync_salve.pass
chmod 600 /etc/rsync_salve.pass
# 修改 文件夹权限
chown -R nfsnobody:nfsnobody /data/
# 启动服务
rsync --daemon --config=/etc/rsyncd.conf
2) 在 Slave 上配置自动同步(sersync)
cd /usr/local/
wget https://dl.qiyuesuo.com/private/nfs/sersync2.5.4_64bit_binary_stable_final.tar.gz
tar xvf sersync2.5.4_64bit_binary_stable_final.tar.gz
mv GNU-Linux-x86/ sersync
cd sersync/
# 修改配置文件
sed -ri '24s###g' confxml.xml
sed -ri '25s# # #g' confxml.xml
sed -ri '30s# # #g' confxml.xml
sed -ri '31s# # #g' confxml.xml
sed -ri '33s# # #g' confxml.xml
# 生成同步帐号
echo "qiyuesuo123" > /etc/rsync.pass
chmod 600 /etc/rsync.pass
#启动Sersync
/usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml
3)在 Master 配置rsync
与1)中基本相同,除了这3条(互相指向对方ip)
hosts allow = 172.20.10.80
secrets file = /etc/rsync_master.pass
认证文件名为/etc/rsync_master.pass
4)在 Master 上配置自动同步(sersync)
与2)中基本相同,除了这一条:
remote ip="172.20.10.81"
5)将两个服务加入自动启动,在master和slave两台机上执行
chmod +x /etc/rc.d/rc.local
vi /etc/rc.d/rc.local # 在末尾添加如下:
test -f /var/rsyncd.pid && rm -f /var/rsyncd.pid
/usr/bin/rsync --daemon --config=/etc/rsyncd.conf
/usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml
注意:rsync服务一定要先于sersync2启动!
文件同步测试
到这里已经做好了双机的目录自动同步,可以分别在两台机的/data目录下试下新增、删除文件,看下是否保持一致。同步日志在/var/log/rsyncd.log中。
如果要单独测试rsync服务,可使用如下命令(在master上)
rsync -arv /data/ [email protected]::data --password-file=/etc/rsync.pass
安装 Keepalived
1)在 Master 上执行
yum -y install keepalived.x86_64
# 修改 /etc/keepalived/keepalived.conf
# 其中 enp0s3 为绑定网卡名称,可以使用 ip addr 命令查看
# 其中 192.168.50.143 为虚拟 ip ,注意不要和其它 ip 冲突
[root@nfs-master ~]# rm -f /etc/keepalived/keepalived.conf
[root@nfs-master ~]# vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
router_id NFS-Master
}
vrrp_script chk_nfs
{
script "/etc/keepalived/nfs_check.sh" #监控脚本
interval 2
weight -20 # keepalived部署了两台所以设为20,如果三台就设为30
}
vrrp_instance VI_1 {
state BACKUP # 两台主机都设为backup非抢占模式
interface enp0s3
virtual_router_id 51
priority 100
advert_int 1
nopreempt # 设置为非抢占模式必须要该参数
authentication {
auth_type PASS
auth_pass qiyuesuo123
}
track_script {
chk_nfs
}
virtual_ipaddress {
172.20.10.82/24
}
}
# 配置监控脚本
[root@k8s-nfs-Master ~]# cat << EOF | tee /etc/keepalived/nfs_check.sh
#!/bin/bash
# 如果无法启动nfs服务,则退出keepalive群集
A=`ps -C nfsd --no-header | wc -l`
if [ $A -eq 0 ];then
systemctl restart nfs-server.service
sleep 2
if [ `ps -C nfsd --no-header| wc -l` -eq 0 ];then
pkill keepalived
fi
fi
B=`ps -C sersync2 --no-header | wc -l`
C=`ip a|grep 53.150 | wc -l`
# NFS正常,sync2未启动,且是vip,则启动sync2
if [ $A -gt 0 -a $B -eq 0 -a $C -eq 1 ];then
/usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml
# echo “nfs-master,要启动sersync2!”
fi
# nfs正常,sync2已启动,但不是vip,则关闭sync2
if [[ $A -gt 0 && $B -gt 0 && $C -eq 0 ]]; then
pkill sersync2
# echo "nfs-slave,要关闭sersync2"
fi
EOF
[root@k8s-nfs-Master ~]# chmod +x /etc/keepalived/nfs_check.sh
# 启动服务
[root@nfs-master ~]# systemctl start keepalived.service && systemctl enable keepalived.service
说明:在实践的过程中,发现双机同时互相同步可能会产生这样的问题:当A机新添加一个文件,而此时B机恰好开始向A机同步,则有可能会导致A机新加文件丢失,因此,监控脚本本采用了优化的同步策略:只有vip所在的这台机才会向另外一台机同步。因此,要注意在实际工作中,一定要连接到VIP进行操作,如果直连到slave机上对同步目录进行操作,是不会同步到master上的。
2)在 Slave上执行
与1)基本相同,除了以下几条:
router_id NFS-Slave
state BACKUP //主从结构中,除了master的state为MASTER外,其余节点都要设置为BACKUP
priority 80 //从节点的权重要比主节点低
查询vip及挂载测试
# 查看VIP落在哪台机上
# 在master或slave上执行
ip a |grep 82
# 到client上进行VIP挂载测试
[root@docker-app ~]# showmount -e 172.20.10.82
Export list for 172.20.10.82:
/data 172.20.10.0/24
mount -t nfs 172.20.10.82:/data /qiyuesuodata
umount /qiyuesuodata/
# 测试vip漂移
# 先在client上长ping
[root@docker-app ~]# ping 172.20.10.82
PING 172.20.10.82 (172.20.10.82) 56(84) bytes of data.
64 bytes from 172.20.10.82: icmp_seq=1 ttl=64 time=0.188 ms ....
# 在 Master 上关闭 keepalived
systemctl stop keepalived.service
# 到client观察ping的结果或者到slave上查看ip....
设置 keepalived 脚本
因为 ip 的漂移是根据 keepalived 的存活来判断的,所以在 nfs 宕机之后需要手动停止 keepalived 服务来进行ip 的切换,这里在 Master 上编写一个定时任务来检测 nfs 服务是否宕机
[root@nfs-master ~]# vi /usr/local/sbin/check_nfs.sh
#!/bin/sh
# 每秒执行一次
step=1 #间隔的秒数,不能大于60
for (( i = 0; i < 60; i=(i+step) )); do
###检查nfs可用性:进程和是否能够挂载
/sbin/service nfs status &>/dev/null
if [ $? -ne 0 ];then
###如果服务状态不正常,先尝试重启服务
/sbin/service nfs restart
/sbin/service nfs status &>/dev/null
if [ $? -ne 0 ];then
# 如服务仍不正常,停止 keepalived
systemctl stop keepalived.service
fi
fi
sleep $step
done
# 加入定时任务
[root@nfs-master ~]# chmod 777 /usr/local/sbin/check_nfs.sh
[root@nfs-master ~]# crontab -e
# 输入定时任务
* * * * * /usr/local/sbin/check_nfs.sh &> /dev/null
综合测试
# 先到client上写文件
[root@docker-app ~]# time dd if=/dev/zero of=/qiyuesuodata/testfile bs=800k count=1024
# 再立刻到master上停止nfs服务
[root@nfs-master ~]# service nfs stop
# 为有更好的效果,可以将脚本check_nfs.sh中的/sbin/service nfs restart这一行注释掉
# 再到client观察写文件的情况,最终会发现,相比正常情况,在切换过程中发生了文件丢失
原文中还有一个当 Master 宕机时进行重新挂载的clent上的脚本,在实践中发现可以不需要。
PS: 在实践过程中发现,sersync2+rsync+keepalived+nfs方式配置的nfs群集,对于简单的NFS应用可以,但对于海量的频繁更新的应用,如:elasticsearch,会出现大量同步操作不能及时完成的情况,此时若发生了VIP切换,则可能会造成应用的故障。因此,此时要考虑使用nfs+drbd+heatbeat/keepalived方式了。