系统学习Linux-Rsync远程数据同步服务（三）

一、概述

rsync是linux 下一个远程数据同步工具

他可通过LAN/WAN快速同步多台主机间的文件和目录，并适当利用rsync 算法减少数据的传输

会对比两个文件的不同部分，传输差异部分，因此传输速度相当快

rsync可拷贝、显示目录属性，以及拷贝文件，并选择性的压缩及递归拷贝

二、特性

快速

第一次传输全部，下一次传输差异

rsync在传输过程中可以实行压缩和解压缩，使用更少的带宽

安全

可以使用scp、ssh等方式传输

直接通过socket连接

支持匿名传输、方便进行网站镜像

三、应用场景

增量同步

备份迁移

四、数据的同步方式

数据备份：拉取（下载）   pull

数据恢复：推送（上传）   push

五、rsync传输模式

本地传输  本地同步数据，类似于cp

远程传输  远程同步数据，类似于scp

守护进程  通过模块化的方式实现批量传输

六、rsync应用

安装

yum -y install rsync

如果已经安装，直接启动

systemctl start rsyncd

监听端口号

TCP/873

七、rsync命令

格式

rsync [选项] 原始位置 目标位置

作为远程命令

拉取  rsync [OPTION...] [USER@]HOST:SRC... [DEST]

推送  rsync [OPTION...] SRC... [USER@]HOST:DEST

作为rsync服务

拉取  rsync [OPTION...] [USER@]HOST::SRC... [DEST]

         rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

推送  rsync [OPTION...] SRC... [USER@]HOST::DEST

          rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

选项

-a  归档模式，递归并保留对象属性，等同于-rlptgoD

-v  -verbose           显示同步过程的详细信息

-z  在传输文件时进行压缩

举例

本地  rsync  -avz  /abc  /opt

          rsync  -avz  abc/  /opt

远程   rsync -avz [email protected]:/etc/hostname  /root/

           rsync -avz  /root/hostname [email protected]:/etc/hostname 

配置文件

/etc/rsyncd.conf

全局配置

address	独立运行时，用于指定服务器运行的 IP 地址，默认本地所有IP
port	指定 rsync 守护进程监听的端口号，默认 873
pid file	rsync 的守护进程将其 PID 写入指定的文件
log file	指定 rsync 守护进程的日志文件，而不将日志发送给 syslog
syslog facility	指定 rsync 发送日志消息给 syslog 时的消息级别
socket options	指定自定义 TCP 选项
lockfile	指定rsync的锁文件存放路径
timeout	超时时间

模块配置

path	指定当前模块的同步路径，该参数是必须指定的
comment	给模块指定一个描述
use chroot	在服务运行时要不要把他锁定在家目录，默认为 true
uid和gid	指定rsync运行用户和用户组，默认nobody
max connections	最大并发连接数，0为不限制
lock file	指定支持 max connections的锁文件。默认/var/run/rsyncd.lock
list	指定列出模块列表时，该模块是否被列出。默认为 true
read only	只读选择，默认true
write only	只写选择，不让客户端从服务器上下载文件。默认false
ignore errors	忽略IO错误，默认true
ignore nonreadable	指定 rysnc 服务器完全忽略那些用户没有访问权限的文件。
dont compress	用来指定那些在传输之前不进行压缩处理的文件。
hosts allow	指定哪些主机客户允许连接该模块。默认值为 *
hosts deny	指定哪些主机客户不允许连接该模块
auth users	指定用于上传的用户名
secrets files	指定密码文件

守护进程传输

配置

uid=rsync
gid=rsync
fake super=yes	# 用于允许非root用户，在备份目录创建文件
list=false	# 默认true，允许查看本机有哪些模块
auth users=rsync_backup	# 用于指定认证用户
secrets file=/etc/rsync.passwd	# 指定认证用户密码
read only = false
max connections=4	# 允许最大连接数
read only=false	默认yes，模块目录只读权限
ignore errors	# 屏蔽错误报错
timeout=900	# 指定rsync传输超时时间
[backup]
path=/backup

创建用户  

useradd rsync -s /sbin/nologin -M

创建认证用户的密码

echo 'rsync_backup:123456' >/etc/rsync.passwd

chmod 600 /etc/rsync.passwd

准备模块目录

mkdir /backup

chown rsync.rsync /backup

重启服务

systemctl restart rsyncd

客户端远程传输

rsync -avz /etc/hosts [email protected]::backup

通过密码文件实现免密传输

vim /etc/rsync.passwd

chmod   600 /etc/rsync.passwd

rsync -avz /etc/hosts [email protected]::backup --password-file /etc/rsync.passwd

实验练习

1.使用认证用户为jx_名字缩写，认证密码为班级编号

2.模块名称为juexing

3.自行修改文件内容，在服务器上实现同步

vim /etc/rsyncd.conf   写入红框内容

useradd rsync -s /sbin/nologin -M  创建rsync用户并给到命令权限

echo 'jx_lwj:2305' >/etc/rsync.passwd  给认证用户设置密码

chmod 600 /etc/rsync.passwd  并设置权限

mkdir /juexing  准备模块目录

chown rsync.rsync /juexing  目录属组属主要是给到sbin命令权限的用户与组

systemctl restart rsyncd    重启服务

打开客户端

rsync -avz /etc/hosts [email protected]::juexing

测试成功后设置通过密码文件实现免密传输

vim /etc/rsync.passwd  写入刚才设置的密码2305

chmod 600 /etc/rsync.passwd   设置密码文件权限

rsync -avz /etc/hosts [email protected]::juexing --password-file /etc/rsync.passwd  自动读取密码文件在/etc/rsync.passwd

---

rsync+inotfy实时同步

服务器端

安装网站服务，启动，但是不写首页文件

修改主配置文件

vim /etc/rsync.config

uid = root
gid = root

[wwwroot]
    path = /var/www/html
    comment = backup export area
    read only = false
    hosts allow = 192.168.1.0/24

开发客户端

安装inotify工具

inotify-tools

tar xf  inotify-tools-3.14.tar.gz

./configure && make && make install

 

配置内核参数

vim /etc/sysctl.conf

fs.inotify.max_user_instances = 1024

fs.inotify.max_queued_events = 16384

fs.inotify.max_user_watches=1048576

sysctl -P

inotifywait -mrq -e modify,create,move,delete /var/www/html

这条命令输入后  可以实时观察写入、删除等

编写脚本

vim /opt/inotify_rsync.sh

#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete /var/www/html/192.168.1.1::wwwroot"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
$RSYNC_CMD
done

 

赋予执行权限

chmod +x inotify_rsync.sh

 

写入文件（开机自启）

vim /etc/rc.local

/root/inotify_rsync.sh