2019-09-07 day 30实现完整备份

架构第三天实现完整备份

实现一个备份的案例 ( rsync 怎么去备份? )

已知3台服务器主机名分别为web01、backup 、nfs主机信息见下表:

角色 外网IP(NAT) 内网IP(LAN) 主机名
WEB eth0:10.0.0.7 eth1:172.16.1.7 web01
NFS eth0:10.0.0.31 eth1:172.16.1.31 nfs
Rsync eth0:10.0.0.41 eth1:172.16.1.41 backup

客户端: web nfs
服务端: backup

客户端需求

1.客户端提前准备存放的备份的目录，目录规则如下:/backup/nfs_172.16.1.31_2018-09-02
2.客户端在本地打包备份(系统配置文件、应用配置等)拷贝至/backup/nfs_172.16.1.31_2018-09-02
3.客户端最后将备份的数据进行推送至备份服务器
4.客户端服务器本地保留最近7天的数据, 避免浪费磁盘空间
4.客户端每天凌晨1点定时执行该脚本

服务端需求

1.服务端部署rsync，用于接收客户端推送过来的备份数据
2.服务端需要每天校验客户端推送过来的数据是否完整
3.服务端需要每天校验的结果通知给管理员
4.服务端仅保留6个月的备份数据,其余的全部删除

注意：所有服务器的备份目录必须都为/backup

解题思路

快递: 散货------>打包--->标记------->装车----------->运输--------->仓库
验货-------->评价

系统: 备份的文件-->打包--->校验值----->备份至本地目录---->网络-------->推送至备份服务器
管理员校验-->通知--->邮件

1.你需要备份什么?

/etc/fstab /etc/hosts /etc/passwd /var/spool/cron/

2.你要备份到哪里?

/backup/nfs_172.16.1.31_2018-09-02
IP: ifconfig eth1 | awk 'NR==2 {print $2}'
host: hostname
date: date +%F

3.你要推送到哪里?

172.16.1.41(服务端IP)

1.客户端（先配置服务端初始环境在配客户端）

[root@nfs ~]# mkdir /scripts
[root@nfs ~]# cat /scripts/clinet_push_data_server.sh 
#!/usr/bin/bash
# variables == 变量 ----> 一个固定的字符串表示一个不固定的值
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
SRC=/backup
HOST=$(hostname)
ADDR=$(ifconfig eth1 | awk 'NR==2 {print $2}')
DATE=$(date +%F)
DEST=${HOST}_${ADDR}_${DATE}

#1.准备对应的备份目录
[ -d $SRC/$DEST ] || mkdir -p $SRC/$DEST

#2.将文件拷贝至备份目录
cd / && \
[ -f $SRC/$DEST/sys.tar.gz ] || tar czf $SRC/$DEST/sys.tar.gz etc/fstab etc/hosts &&  \
[ -f $SRC/$DEST/other.tar.gz ] || tar czf $SRC/$DEST/other.tar.gz etc/passwd var/spool/cron/ scripts/ && \

#3.添加标记
[ -f $SRC/$DEST/flag_${DATE} ] || md5sum $SRC/$DEST/*.tar.gz > $SRC/$DEST/flag_${DATE}

#4.推送数据到远程仓库
export RSYNC_PASSWORD=1
rsync -avz $SRC/ [email protected]::backup

#5.保留本地最近7天的数据
find $SRC/ -type d -mtime +7 |xargs rm -rf

#批量的模拟数据
[root@nfs ~]# for i in {1..30};do date -s "201909$i"; sh /scripts/clinet_push_data_server.sh ; done

2.服务端（配置初始环境）

1.安装
[root@backup ~]# yum install rsync -y
2.配置（改变程序运行轨迹）
[root@backup ~]# cat /etc/rsyncd.conf 
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsyncd.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
##用set  list 可以查看每一行后面有没有空格或者用cat -A
3.根据配置创建一些初始环境
  3.1创建rsync用户    rsync程序需要rsync这个用户来运行
[root@backup ~]# groupadd rsync
[root@backup ~]# useradd -M -s /sbin/nologin rsync -g rsync
[root@backup ~]# id rsync
uid=1000(rsync) gid=1000(rsync) groups=1000(rsync)
  3.2 虚拟用户    /etc/rsync.passwd   username:password
[root@backup ~]# echo "rsync_backup:1" >/etc/rsyncd.passwd
[root@backup ~]# chmod 600 /etc/rsyncd.passwd （修改权限为属主可读可写）
   3.3 创建一个/backup目录
[root@backup ~]# mkdir /backup
[root@backup /]# ll -d /backup/
drwxr-xr-x 2 root root 6 Sep  6 15:58 /backup/
[root@backup /]# chown -R rsync.rsync /backup/
[root@backup /]# ll -d /backup/
drwxr-xr-x 2 rsync rsync 6 Sep  6 15:58 /backup/
4.启动
[root@backup ~]# systemctl start rsyncd  #启动rsync
[root@backup ~]# systemctl enable rsyncd #开机自启动
5.检测
[root@backup ~]# netstat -lntp |grep rsync
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      9350/rsync          
在客户端上使用
6.使用（使用客户端）
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
[root@nfs ~]# rsync -avz ./anaconda-ks.cfg [email protected]::backup  #在这里需要输入密码才可执行
Password: 
7.客户端每次都需要使用密码
1.设定变量  RSYNC_PASSWORD  (后面写脚本的时候)
[root@nfs ~]# export RSYNC_PASSWORD=123456
[root@nfs ~]# rsync -avz [email protected]::backup /opt
2.提前准备一个文件 (只有密码的文件),  然后使用 --password-file 指定位置
[root@nfs ~]# echo "123456" >  /etc/rsync.pass
[root@nfs ~]# chmod 600 /etc/rsync.pass
[root@nfs ~]# rsync -avz [email protected]::backup /opt --password-file=/etc/rsync.pass

3.服务端配置

3.1.服务端配置邮件功能

[root@backup ~]# yum install mailx -y
[root@backup /]# vim /etc/mail.rc       #跳转至最后一行,然后进入编辑模式
set from=发件人@qq.com
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=发件人@qq.com
set smtp-auth-password=校验码（rbhfcaefiobaddjg）
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/

3.2测试一下是否能发送成功

[root@backup ~]# mail -s "测试一下" 收件人@qq.com < /etc/hosts

3.3编写脚本

[root@backup ~]# cat /scripts/check_data_notify.sh
#!/usr/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
SRC=/backup
DATE=$(date +%F)

#1.校验客户端每天推过来的数据
md5sum -c ${SRC}/*_${DATE}/flag_${DATE} >${SRC}/result_${DATE}


#2.邮件通知管理员
mail -s "Rsync Backup ${DATE}" [email protected] <${SRC}/result_${DATE}

#3.保留最近180天的数据
find $SRC/ -type d -mtime +180 |xargs rm -rf 

定时任务

1.客户端
[root@nfs ~]# crontab -l
#定时备份数据
*/1 * * * * sh /scripts/clinet_push_data_server.sh &>/dev/null
2.服务端
[root@backup ~]# crontab -l
#定时校验备份的数据
*/1 * * * * sh /scripts/check_data_notify.sh &>/dev/null

如何曾加一个客户端

[root@web01 ~]# rsync -avz [email protected]:/scripts /

image.png