rsync+lsyncd实现文件实时同步
可参考http://seanlook.com/2015/05/06/lsyncd-synchronize-realtime/
可参考http://openlinuxfly.blog.51cto.com/7120723/1679279
可参考http://segmentfault.com/a/1190000002737213
一、环境
lsyncd 192.168.3.71
rsync 192.168.3.72
二、配置rsync服务器
配置rsync以xinetd方式运行
[root@rsync ~]# yum install rsync -y
[root@rsync ~]# yum install xinetd -y
#修改/etc/xinetd.d/rsync
[root@rsync ~]# vim /etc/xinetd.d/rsync
service rsync
{
disable = no ##将yes改成no
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = --daemon
log_on_failure += USERID
}
#启动xinetd服务
[root@rsync ~]# service xinetd start
Starting xinetd: [ OK ]
#rsync默认的监听端口是873，查看873号端口是否启动
[root@rsync ~]# netstat -tunlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1247/sshd
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1324/master
tcp 0 0 :::22 :::* LISTEN 1247/sshd
tcp 0 0 ::1:25 :::* LISTEN 1324/master
tcp 0 0 :::873 :::* LISTEN 1561/xinetd
创建rsync服务目录和配置文件
#创建rsync服务目录 [root@rsync ~]# mkdir /etc/rsyncd # 创建配置文件 [root@rsync ~]# touch /etc/rsyncd/rsyncd.conf # 创建密码文件 [root@rsync ~]# touch /etc/rsyncd/rsyncd.secrets #权限修改 [root@rsync ~]# chown root:root /etc/rsyncd/rsyncd.secrets [root@rsync ~]# chmod 600 /etc/rsyncd/rsyncd.secrets #这里的权限设置必须是600
创建用户和密码
[root@rsync ~]# echo "rsync:test" >>/etc/rsyncd/rsyncd.secrets
创建rsync配置文件
[root@rsync ~]# cat /etc/rsyncd/rsyncd.conf # GLOBAL OPTIONS uid = root gid = root use chroot = yes #这个参数要设置成yes，如果同步的是软连接文件，同步过来后会多一个前缀，导致软连接不能正常使用 read only = no #我们需要实时同步lsyncd服务器上的资源，这个需要有写权限，或者在模块中赋予写权限 #limit access to private LANs hosts allow=192.168.3.0/255.255.0.0 hosts deny=* max connections = 5 pid file = /var/run/rsyncd.pid secrets file = /etc/rsyncd/rsyncd.secrets #lock file = /var/run/rsync.lock motd file = /etc/rsyncd/rsyncd.motd #This will give you a separate log file log file = /var/log/rsync.log #This will log every file transferred - up to 85,000+ per user, per sync transfer logging = yes log format = %t %a %m %f %b syslog facility = local3 timeout = 300 # MODULE OPTIONS [test] path = /data/test list=yes ignore errors auth users = rsync #客户端连接过来使用的用户是rsync comment = welcome to rsync server
编辑xinetd的rsync配置文件，添加配置文件路径
#添加rsync的配置文件路径
[root@rsync ~]# vim /etc/xinetd.d/rsync
service rsync
{
disable = no
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = --daemon --config=/etc/rsyncd/rsyncd.conf #添加配置文件路径
log_on_failure += USERID
}
#重启xinetd服务
[root@rsync ~]# service xinetd restart
Stopping xinetd: [ OK ]
Starting xinetd: [ OK ]
[root@rsync ~]# netstat -anpt |grep 873
tcp 0 0 :::873 :::* LISTEN 1586/xinetd
#创建数据目录
[root@rsync ~]# mkdir -p /data/test
三、配置lsyncd服务器
#安装rsync,lsyncd [root@lsyncd ~]# rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm [root@lsyncd ~]# sed -i 's@#b@b@g' /etc/yum.repos.d/epel.repo [root@lsyncd ~]# sed -i 's@mirrorlist@#mirrorlist@g' /etc/yum.repos.d/epel.repo [root@lsyncd ~]# yum install rsync lsyncd -y
配置lsyncd服务配置文件
本地同步
1.1 本地目录同步:direct：cp/rm/mv。 适用：500+万文件，变动不大
[root@lsyncd ~]# vim /etc/lsyncd.conf
settings {
logfile = "/tmp/lsyncd.log",
statusFile = "/tmp/lsyncd.status",
statusInterval = 5,
}
sync {
default.direct,
source = "/data/test", #要同步的源目录
target = "/data/dest", #同步的目的目录
delay = 1,
maxProcesses = 1,
}
#启动服务
[root@lsyncd ~]# /etc/init.d/lsyncd start
Starting lsyncd: [ OK ]
#测试，查看目录内容
[root@lsyncd ~]# ll /data/test
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:00 1.txt
-rw-r--r-- 1 root root 0 Jul 30 15:01 test.txt
[root@lsyncd ~]# ll /data/dest/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:00 1.txt
-rw-r--r-- 1 root root 0 Jul 30 15:01 test.txt
#创建一个新文件
[root@lsyncd ~]# touch /data/test/for.py
#查看结果
[root@lsyncd ~]# ll /data/dest/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:00 1.txt
-rw-r--r-- 1 root root 0 Jul 30 15:03 for.py
-rw-r--r-- 1 root root 0 Jul 30 15:01 test.txt
#删除/data/test目录下的txt文件
[root@lsyncd ~]# rm -rf /data/test/*.txt
[root@lsyncd ~]# ll /data/dest/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:03 for.py
1.2 本地目录同步rsync模式：rsync
#编辑lsyncd配置文件添加如下内容
[root@lsyncd ~]# vim /etc/lsyncd.conf
sync{
default.rsync,
source = "/data/test",
target = "/tmp/ceshi", #如果目录不存在，会自动创建目录
delete = true,
exclude = { "test"},
rsync = {
compress = true,
verbose = true,
archive = true,
}
}
#重启服务
[root@lsyncd ~]# /etc/init.d/lsyncd restart
Stopping lsyncd: [ OK ]
Starting lsyncd: [ OK ]
#测试
[root@lsyncd ~]# ll /tmp/ceshi/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:03 for.py
#在/data/test下添加一个文件ceshi.txt
[root@lsyncd ~]# touch /data/test/ceshi.txt
[root@lsyncd ~]# ll /tmp/ceshi/ #有点延迟，可能是虚拟机的原因
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:14 ceshi.txt
-rw-r--r-- 1 root root 0 Jul 30 15:03 for.py
远程同步
2.1 远程同步: rsync模式 + rsyncd daemon
#创建密码文件
[root@lsyncd ~]# echo "test" > /etc/backserver.pas
[root@lsyncd ~]# chmod 600 /etc/backserver.pas
#修改lsyncd的配置文件，添加如下内容
[root@lsyncd ~]# vim /etc/lsyncd.conf
sync{
default.rsync,
source = "/data/test",
target = "[email protected]::test", #这里的用户是192.168.3.72里设置的用户
delete = true,
exclude = { ".tmp"},
delay = 1,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
password_file = "/etc/backserver.pas", #需要的密码配置文件
_extra = {"--bwlimit=200",}
}
}
[root@lsyncd ~]# /etc/init.d/lsyncd restart
Stopping lsyncd: [ OK ]
Starting lsyncd: [ OK ]
#测试，查看rsync:192.168.3.72上的test模块下的文件
[root@rsync ~]# hostname
rsync
[root@rsync ~]# ll /data/test/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:15 1.txt
-rw-r--r-- 1 root root 0 Jul 30 15:14 ceshi.txt
-rw-r--r-- 1 root root 0 Jul 30 15:03 for.py
-rw-r--r-- 1 root root 0 Jul 30 15:23 test
#在lsyncd上删除/data/test目录下的for.py
[root@lsyncd ~]# hostname
lsyncd
[root@lsyncd ~]# rm -rf /data/test/for.py
#查看结果
[root@rsync ~]# hostname
rsync
[root@rsync ~]# ll /data/test/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:15 1.txt
-rw-r--r-- 1 root root 0 Jul 30 15:14 ceshi.txt
-rw-r--r-- 1 root root 0 Jul 30 15:23 test
#测试添加一个文件
[root@lsyncd ~]# hostname
lsyncd
[root@lsyncd ~]# touch /data/test/docker.txt
#查看结果
[root@rsync ~]# ll /data/test/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:15 1.txt
-rw-r--r-- 1 root root 0 Jul 30 15:14 ceshi.txt
-rw-r--r-- 1 root root 0 Jul 30 15:31 docker.txt
-rw-r--r-- 1 root root 0 Jul 30 15:23 test