Rsync备份服务部署

Rsync

1.什么是rsync：

rsync简称远程同步,可以实现不同主机之间的同步. 同时支持增量和全量的备份.

2.rsync如何实现的备份：

全量：完全备份, 效率低.

增量: 差异备份, 效率高.

3.rsync使用场景：

rsync数据传输模式: push推 pull拉
推: 客户端将需要备份的文件发送到服务端
拉: 客户端从服务端下载需要的文件
rsync数据传输模式-->问题
推: 如果机器过多,容易造成推送数据缓慢
拉: 如果客户端过多,会造成服务端压力过大.

4.rsync推送文件：

推送本地的文件至172.16.1.41服务器的/opt目录,使用41的root用户完成此操作

[root@nfs ~]# rsync -avz test.txt [email protected]:/opt

下载41服务器上的/opt/test.txt文件至本地当前目录,使用41的root用户完成此操作

[root@nfs ~]# rsync -avz [email protected]:/opt/test.txt ./

5.rsync守护进程,将程序运行在后台

1. 安装rsync

   [root@backup ~]# yum install rsync -y
   

2. 配置rsyncd.conf模块文件

   [root@backup ~]# cat /etc/rsyncd.conf
        uid = www
        gid = www
        port = 873
        fake super = yes
        use chroot = no
        max connections = 200
        timeout = 600
        ignore errors
        read only = false
        list = false
        auth users = rsync_backup
        secrets file = /etc/rsync.passwd
        log file = /var/log/rsyncd.log
        #####################################
        [backup]
        comment = welcome to oldboyedu backup!
        path = /backup
   

3. 需要一个rsync进程运行时使用的普通用户组，用户--->www

   groupadd -g 666 www
   useradd www -M -s /sbin/nologin -u 666 -g 666
   

4. 服务端需要定义一个客户端连接 虚拟用户名和密码

   echo "rsync_backup:123456" > /etc/rsync.passwd
   chmod 600 /etc/rsync.passwd
   

5. 准备模块定义好的目录,客户端的数据都存放在该目录下

   mkdir /backup
   chown -R www.www /backup/
   

6. 启动rsync,并加入开机自启

   systemctl start rsyncd
   systemctl enable rsyncd
   systemctl status rsyncd
   

7. 检查rsync的进程\端口

   ps aux | grep rsync
   netstat -lntp|grep 873
   

6.推送数据

rsync -avz ./test.txt [email protected]::backup

7.下载数据

rsync -avz [email protected]::backup /opt
rsync -avz [email protected]::backup/test.txt /opt

8.无差异同步

1.客户端---push---服务端.   以客户端为准.
rsync -avz /root/ [email protected]::backup          #正常手法
rsync -avz --delte /root/ [email protected]::backup  #非正常手法
        
2.客户端---pull---服务端.   以服务端为准.
rsync -avz [email protected]::backup ./              #正常手法
rsync -avz --delete [email protected]::backup ./     #非正常手法

9.对同步进行限速100MB * 8 = 800兆 --bwlimit MB * 8 = 实际带宽100

[root@nfs ~]# rsync -avzP --bwlimit 1 ./size.disk    [email protected]::backup

10.排除不同的文件

--exclude=
rsync -avz /root/ --exclude=size.disk [email protected]::backup

11.客户端输入密码验证

方式一: --password-file 准备一个客户端的密码文件 /etc/rsync.pass
echo "123456" > /etc/rsync.pass
chmod 600 /etc/rsync.pass.
rsync -avz /root/ [email protected]::backup --password- file=/etc/rsync.pass

方拾贰:
export RSYNC_PASSWORD=123456
rsync -avz /root/ [email protected]::backup

12.rsync相关参数:

-a           #归档模式传输, 等于-tropgDl
-v           #详细模式输出, 打印速率, 文件数量等
-z           #传输时进行压缩以提高效率
-r           #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t           #保持文件时间信息
-o           #保持文件属主信息
-p           #保持文件权限
-g           #保持文件属组信息
-l           #保留软连接
-P           #显示同步的过程及传输时的进度等信息
-D           #保持设备文件信息
-L           #保留软连接指向的目标文件
-e           #使用的信道协议,指定替代rsh的shell程序
--exclude=PATTERN   #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100       #限速传输
--partial           #断点续传
--delete            #让目标目录和源目录数据保持一致    

rsync备份应用

1.客户端脚本

客户端定时任务:
*/1 * * * * sh /server/scripts/client_push_data.sh &>/dev/null


[root@nfs ~]# cat /server/scripts/client_push_data.sh 
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Path=/backup
Host=$(hostname)
Addr=$(ifconfig eth1|awk 'NR==2 {print $2}')
Date=$(date +%F)
Dest=$Path/${Host}_${Addr}_${Date}


#1.创建一个本地存储的目录
mkdir -p $Dest

#2.将需要备份的文件打包到$Dest目录中
cd / && \
[ -f $Dest/sys.tar.gz ] ||  tar czf $Dest/sys.tar.gz etc/hosts etc/fstab var/spool/cron

#3.给压缩包打一个标签
[ -f $Dest/flag_$Date ] ||  md5sum $Dest/*.tar.gz > $Dest/flag_$Date

#3.将备份的文件夹推送到backup服务器
export RSYNC_PASSWORD=123456
rsync -avz $Dest [email protected]::backup


#4.保留最近7天的数据
find /backup/ -type d -mtime +7|xargs rm -rf

2.服务端脚本

服务端定时任务:
*/2 * * * * sh /server/scripts/check_client_data.sh &>/dev/null


[root@backup backup]# cat /server/scripts/check_client_data.sh 
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Path=/backup
Date=$(date +%F)


#1.校验每天客户端推送过来的数据
md5sum -c $Path/*_$Date/flag_$Date > $Path/result_$Date

#2.将校验的结果通知给管理人员
mail -s "Rsync Backup $Date" "[email protected]" < $Path/result_$Date

#3.保留最近180天的数据
find /backup/ -type d -mtime +180|xargs rm -rf

3.邮件配置文件：

下载：yum install mailx -y

[root@backup ~]# yum install mailx -y

1.怎么通知      mail邮箱
[root@backup /]# vim /etc/mail.rc
set [email protected]             #发件人
set smtp=smtps://smtp.qq.com:465
set [email protected]
set smtp-auth-password=xxx
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/