rsync+lsyncd实现文件实时同步

可参考http://seanlook.com/2015/05/06/lsyncd-synchronize-realtime/

可参考http://openlinuxfly.blog.51cto.com/7120723/1679279

可参考http://segmentfault.com/a/1190000002737213

一、环境

lsyncd    192.168.3.71

rsync     192.168.3.72

二、配置rsync服务器

配置rsync以xinetd方式运行

[root@rsync ~]# yum install rsync -y
[root@rsync ~]# yum install xinetd -y

#修改/etc/xinetd.d/rsync
[root@rsync ~]# vim /etc/xinetd.d/rsync
service rsync
{
    disable         = no          ##将yes改成no  
    socket_type     = stream
    wait            = no
    user            = root
    server          = /usr/bin/rsync
    server_args     = --daemon
    log_on_failure  += USERID
}

#启动xinetd服务
[root@rsync ~]# service xinetd start
Starting xinetd:                                           [  OK  ]

#rsync默认的监听端口是873，查看873号端口是否启动
[root@rsync ~]# netstat -tunlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   
tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      1247/sshd           
tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN      1324/master         
tcp        0      0 :::22                       :::*                        LISTEN      1247/sshd           
tcp        0      0 ::1:25                      :::*                        LISTEN      1324/master         
tcp        0      0 :::873                      :::*                        LISTEN      1561/xinetd

创建rsync服务目录和配置文件

#创建rsync服务目录
[root@rsync ~]# mkdir /etc/rsyncd

# 创建配置文件
[root@rsync ~]# touch /etc/rsyncd/rsyncd.conf

# 创建密码文件
[root@rsync ~]# touch /etc/rsyncd/rsyncd.secrets

#权限修改
[root@rsync ~]# chown root:root /etc/rsyncd/rsyncd.secrets
[root@rsync ~]# chmod 600 /etc/rsyncd/rsyncd.secrets            #这里的权限设置必须是600

创建用户和密码

[root@rsync ~]# echo "rsync:test" >>/etc/rsyncd/rsyncd.secrets

创建rsync配置文件

[root@rsync ~]# cat /etc/rsyncd/rsyncd.conf 
# GLOBAL OPTIONS
uid = root
gid = root
 
use chroot = yes        #这个参数要设置成yes，如果同步的是软连接文件，同步过来后会多一个前缀，导致软连接不能正常使用
 
read only = no        #我们需要实时同步lsyncd服务器上的资源，这个需要有写权限，或者在模块中赋予写权限
 
#limit access to private LANs
hosts allow=192.168.3.0/255.255.0.0
hosts deny=*
max connections = 5
 
pid file = /var/run/rsyncd.pid
 
secrets file = /etc/rsyncd/rsyncd.secrets
#lock file = /var/run/rsync.lock           
 
motd file = /etc/rsyncd/rsyncd.motd        
 
#This will give you a separate log file
log file = /var/log/rsync.log               
 
#This will log every file transferred - up to 85,000+ per user, per sync
transfer logging = yes
 
log format = %t %a %m %f %b
syslog facility = local3
timeout = 300
 
# MODULE OPTIONS
[test]
path = /data/test
list=yes
ignore errors
auth users = rsync            #客户端连接过来使用的用户是rsync
comment = welcome to rsync server

编辑xinetd的rsync配置文件，添加配置文件路径

#添加rsync的配置文件路径
[root@rsync ~]# vim /etc/xinetd.d/rsync
service rsync
{
    disable = no
    socket_type     = stream
    wait            = no
    user            = root
    server          = /usr/bin/rsync
    server_args     = --daemon --config=/etc/rsyncd/rsyncd.conf    #添加配置文件路径
    log_on_failure  += USERID
}

#重启xinetd服务
[root@rsync ~]# service xinetd restart
Stopping xinetd:                                           [  OK  ]
Starting xinetd:                                           [  OK  ]
[root@rsync ~]# netstat -anpt |grep 873
tcp        0      0 :::873                      :::*                        LISTEN      1586/xinetd 

#创建数据目录
[root@rsync ~]# mkdir -p /data/test

三、配置lsyncd服务器

#安装rsync,lsyncd
[root@lsyncd ~]# rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
[root@lsyncd ~]# sed -i 's@#b@b@g' /etc/yum.repos.d/epel.repo
[root@lsyncd ~]# sed  -i 's@mirrorlist@#mirrorlist@g' /etc/yum.repos.d/epel.repo
[root@lsyncd ~]# yum install rsync lsyncd -y

配置lsyncd服务配置文件

本地同步

1.1 本地目录同步:direct：cp/rm/mv。 适用：500+万文件，变动不大

[root@lsyncd ~]# vim /etc/lsyncd.conf 
settings {
        logfile         = "/tmp/lsyncd.log",
        statusFile      = "/tmp/lsyncd.status",
        statusInterval  = 5,
}

sync {
        default.direct,
        source          = "/data/test",            #要同步的源目录
        target          = "/data/dest",            #同步的目的目录
        delay           = 1,    
        maxProcesses    = 1,
}

#启动服务
[root@lsyncd ~]# /etc/init.d/lsyncd start
Starting lsyncd:                                           [  OK  ]

#测试，查看目录内容
[root@lsyncd ~]# ll /data/test
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:00 1.txt
-rw-r--r-- 1 root root 0 Jul 30 15:01 test.txt
[root@lsyncd ~]# ll /data/dest/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:00 1.txt
-rw-r--r-- 1 root root 0 Jul 30 15:01 test.txt

#创建一个新文件
[root@lsyncd ~]# touch /data/test/for.py

#查看结果
[root@lsyncd ~]# ll /data/dest/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:00 1.txt
-rw-r--r-- 1 root root 0 Jul 30 15:03 for.py
-rw-r--r-- 1 root root 0 Jul 30 15:01 test.txt

#删除/data/test目录下的txt文件
[root@lsyncd ~]# rm -rf /data/test/*.txt
[root@lsyncd ~]# ll /data/dest/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:03 for.py

1.2 本地目录同步rsync模式：rsync

#编辑lsyncd配置文件添加如下内容
[root@lsyncd ~]# vim /etc/lsyncd.conf 
sync{
        default.rsync,
        source          = "/data/test",
        target          = "/tmp/ceshi",            #如果目录不存在，会自动创建目录
        delete          = true,
        exclude         = { "test"},
        rsync = {
                compress = true,
                verbose  = true,
                archive  = true,
        }
}

#重启服务
[root@lsyncd ~]# /etc/init.d/lsyncd restart
Stopping lsyncd:                                           [  OK  ]
Starting lsyncd:                                           [  OK  ]

#测试
[root@lsyncd ~]# ll /tmp/ceshi/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:03 for.py

#在/data/test下添加一个文件ceshi.txt
[root@lsyncd ~]# touch /data/test/ceshi.txt
[root@lsyncd ~]# ll /tmp/ceshi/                #有点延迟，可能是虚拟机的原因
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:14 ceshi.txt
-rw-r--r-- 1 root root 0 Jul 30 15:03 for.py

远程同步

2.1 远程同步: rsync模式 + rsyncd daemon

#创建密码文件
[root@lsyncd ~]# echo "test" > /etc/backserver.pas
[root@lsyncd ~]# chmod 600 /etc/backserver.pas 

#修改lsyncd的配置文件，添加如下内容
[root@lsyncd ~]# vim /etc/lsyncd.conf 
sync{
        default.rsync,
        source          = "/data/test",
        target          = "[email protected]::test",    #这里的用户是192.168.3.72里设置的用户
        delete          = true,
        exclude         = { ".tmp"},
        delay           = 1,
        rsync   = {
                binary = "/usr/bin/rsync",
                archive = true,
                compress = true,
                verbose = true,
                password_file = "/etc/backserver.pas",    #需要的密码配置文件
                _extra  = {"--bwlimit=200",}
        }
}

[root@lsyncd ~]# /etc/init.d/lsyncd restart
Stopping lsyncd:                                           [  OK  ]
Starting lsyncd:                                           [  OK  ]

#测试，查看rsync:192.168.3.72上的test模块下的文件
[root@rsync ~]# hostname
rsync
[root@rsync ~]# ll /data/test/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:15 1.txt
-rw-r--r-- 1 root root 0 Jul 30 15:14 ceshi.txt
-rw-r--r-- 1 root root 0 Jul 30 15:03 for.py
-rw-r--r-- 1 root root 0 Jul 30 15:23 test

#在lsyncd上删除/data/test目录下的for.py
[root@lsyncd ~]# hostname 
lsyncd
[root@lsyncd ~]# rm -rf /data/test/for.py 

#查看结果
[root@rsync ~]# hostname
rsync
[root@rsync ~]# ll /data/test/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:15 1.txt
-rw-r--r-- 1 root root 0 Jul 30 15:14 ceshi.txt
-rw-r--r-- 1 root root 0 Jul 30 15:23 test

#测试添加一个文件
[root@lsyncd ~]# hostname
lsyncd
[root@lsyncd ~]# touch /data/test/docker.txt

#查看结果
[root@rsync ~]# ll /data/test/
total 0
-rw-r--r-- 1 root root 0 Jul 30 15:15 1.txt
-rw-r--r-- 1 root root 0 Jul 30 15:14 ceshi.txt
-rw-r--r-- 1 root root 0 Jul 30 15:31 docker.txt
-rw-r--r-- 1 root root 0 Jul 30 15:23 test