【汇总】rsync+inotify

http://code.google.com/p/sersync/



rsync配置简单，通过脚本执行客户端命令可以实现自动同步功能，但是无法做到实时同步，接下来会介绍两个可以实时同步的。


lsync是google开源组织开发一款开源软件工具，可以针对rsync实时监听，对数据做任何修改操作就可以及时的同步数据。不同的是，rsync是客户端将服务器上的数据同步过来，而lsync是将本机的相关目录上的数据同步推送到rsync服务端的目录下。



Inotify 是文件系统事件监控机制，作为 dnotify 的有效替代。dnotify 是较早内核支持的文件监控机制。Inotify 是一种强大的、细粒度的、异步的机制，它满足各种各样的文件监控需要，不仅限于安全和性能。



总结：总体上来说，这几种方式的同步，rsync、rsync+lsync配置简单，部署简单，但是rsync不能够做到实施同步，而rsync+lsync在排除非同步文件时候有点问题（暂未找到解决方法），rsync+inotify的启动靠编写脚本去监听并且同步数据。


===================rsync

 

 

Rsync的命令格式可以为以下六种：
　　rsync [OPTION]... SRC DEST
　　rsync [OPTION]... SRC [USER@]HOST:DEST
　　rsync [OPTION]... [USER@]HOST:SRC DEST
　　rsync [OPTION]... [USER@]HOST::SRC DEST
　　rsync [OPTION]... SRC [USER@]HOST::DEST
　　rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
　　对应于以上六种命令格式，rsync有六种不同的工作模式：
　　1)拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。如：rsync -a /data /backup
　　2)使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。如：rsync -avz *.c foo:src
　　3)使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如：rsync -avz foo:src/bar /data
　　4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如：rsync -av [email protected]::www /databack
　　5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。如：rsync -av /databack [email protected]::www
　　6)列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。如：rsync -v rsync://172.16.78.192/www

 

rsync参数的具体解释如下：
-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关，强制对文件传输进行校验
-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-H, --hard-links 保留硬链结
-p, --perms 保持文件权限
-o, --owner 保持文件属主信息
-g, --group 保持文件属组信息
-D, --devices 保持设备文件信息
-t, --times 保持文件时间信息
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run现实哪些文件将被传输
-W, --whole-file 拷贝文件，不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
--force 强制删除目录，即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间，单位为秒
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
-z, --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽，KBytes per second
-h, --help 显示帮助信息
一般都使用azv选项

 

 

 

 

如果想要避开复制的文件过多，可以这么写
-exclude-from=/exclude.list
exclude.list 是一个文件，放置的位置是绝对路径的/exclude.list ，为了避免出问题，最好设置为绝对路径。
里面的内容一定要写为相对路径
比如 我想避开checkout文件夹和fire打头的文件
那么/exclude.list 写为
checkout
fire*

 

 

rsync -vzrtopg --progress --delete --port=28773 /tmp/test/ [email protected]::www/test/ \
 --exclude-from=/data/sh/rsync_test/other.conf --password-file=/usr/local/webserver/rsync/conf/rsyncd.pwd



/data/sh/rsync_test/other.conf  里面的内容一定要写为相对路径
webroot
tmp
phpinfo.php
controllers/components
controllers/ajax_controller.php

 

 

 

 

 

 

主：192.168.93.129
从：192.168.93.133

wget http://rsync.samba.org/ftp/rsync/rsync-3.0.8.tar.gz

/usr/local/webserver/rsync/  主目录
/usr/local/webserver/rsync/conf/ 配置密码文件目录
/data/logs/rsync  log目录
端口：28733
同步目录/data/www
组/用户:www/www



/usr/local/webserver/rsync/conf/rsyncd.conf
secrets file = /usr/local/webserver/rsync/conf/rsyncd.pwd
motd file = /usr/local/webserver/rsync/conf/rsyncd.motd
pid file = /usr/local/webserver/rsync/rsyncd.pid
lock file = /usr/local/webserver/rsync/rsyncd.lock
log file = /data/logs/rsync/rsyncd.log
#hosts allow = 192.168.12.202,192.168.12.203,58.60.188.61/255.255.255.0
hosts allow=58.60.188.61/255.255.255.0
hosts deny=*
auth users = www

chmod 600 /usr/local/webserver/rsync/conf/rsyncd.pwd


启动rsync服务
/usr/local/webserver/rsync/bin/rsync --daemon --config=/usr/local/webserver/rsync/conf/rsyncd.conf

 

 

http://rsync.samba.org/ftp/rsync/

－－－－－－－－－主：


===安装配置



./configure --prefix=/usr/local/rsync

mkdir -p /usr/local/webserver/rsync/conf
mkdir -p /data/logs/rsync/

vim /usr/local/webserver/rsync/conf/rsyncd.conf


pid file = /usr/local/webserver/rsync/rsyncd.pid
port = 28733
uid = www
gid = www
use chroot = yes
read only = yes
#hosts allow=192.168.93.133/255.255.255.0
#hosts deny=*
max connections = 10
motd file = /usr/local/webserver/rsync/conf/rsyncd.motd
log file = /data/logs/rsync/rsyncd.log
log format = %t %a %m %f %b
syslog facility = local3
timeout = 300
[www]
path = /data/www/
list=yes
ignore errors
auth users = www
secrets file = /usr/local/webserver/rsync/conf/rsyncd.pwd
comment = www www


vim /usr/local/webserver/rsync/conf/rsyncd.motd
Welcome to use the rsync server 78

vim /usr/local/webserver/rsync/conf/rsyncd.pwd
www:RsyNcdt@87nM3

chmod 600 /usr/local/webserver/rsync/conf/rsyncd.pwd



chown -R www:www /usr/local/webserver/rsync/
chown -R www:www /data/logs/rsync/

启动rsync服务
/usr/local/webserver/rsync/bin/rsync --daemon --config=/usr/local/webserver/rsync/conf/rsyncd.conf




抓取文件
从192.168.12.201取（[www]path = /data/www 用户www）到本机/data/www/test/
/usr/local/webserver/rsync/bin/rsync -auv --progress --delete --port=28733 [email protected]::www/ test / /data/www/ test /




推送文件
从本机/data/www/ test /推送到192.168.12.201  qaz@wsx#
/usr/local/webserver/rsync/bin/rsync -vzrtopg --progress --delete --port=28733 /data/www/ test /  [email protected]::www/ test
/usr/local/webserver/rsync/bin/rsync -auv --progress --delete --port=28733 /data/www/ test / [email protected]::www/ test /




--------------制作rsync启动脚本,让脚本开机自动启动 rsyncstart.sh

#/bin/bash
kill -9 `cat /var/run/rsyncd.pid`
rm -f /var/run/rsyncd.pid
/usr/bin/rsync --daemon --config=/etc/rsyncd.conf

[root@localhost ~]#chmod +x rsyncstart.sh
[root@localhost /]# vi /etc/rc.local          //为脚本加入系统自动启动
/usr/local/shell/rsyncstart.sh                   //加入



----------------从：



wget http://rsync.samba.org/ftp/rsync/rsync-3.0.8.tar.gz

./configure --prefix=/usr/local/webser/rsync


#vim /etc/rsync.secrets
maos1213


/usr/local/rsync/bin/rsync rsync://[email protected]/ -------ok


/usr/local/rsync/bin/rsync -vzrtopg --delete --progress [email protected]::tmp  /tmp2   -------ok
输入密码：maos1213





---------------------不需要
cd /usr/local/rsync/bin

下载文件
./rsync -vzrtopg --progress --delete [email protected]::tmp /tmp2

上传文件
./rsync -vzrtopg --progress --delete /tmp/rsync  [email protected]::test
－－－－－－－－－－－－－－－





＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝inotify
http://inotify-tools.sourceforge.net/

wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
原理：使用inotify监视文件的变化，如果文件有变动，那么启动rsync，这里可以做其他引申，也可以使用该软件监视某些固定的目录，如果被监视的目录有变动，那么执行相关的指定程序，比如发mail，报警等
缺点：此方式只适合rsync推送方式，而不是适合rsync获取方式


主服务器上安装
安装inotify-tools时请注意自己linux的内核版本，只有2.6.13版本或以上的才可以

./configure
make && make install



查看是否支持inotify，从kernel 2.6.13开始正式并入内核，RHEL5已经支持。
看看是否有 /proc/sys/fs/inotify/目录，以确定内核是否支持inotify
[root@RHEL5 Rsync]# ll /proc/sys/fs/inotify
total 0
-rw-r--r-- 1 root root 0 Oct  9 09:36 max_queued_events
-rw-r--r-- 1 root root 0 Oct  9 09:36 max_user_instances
-rw-r--r-- 1 root root 0 Oct  9 09:36 max_user_watches

安装完成




http://www.bitscn.com/plus/view.php?aid=158600  linux inotify+rsync+ssh数据时时同步






生成SSH KEY 让 server1 ssh访问 server2不需要密码～


ssh-keygen -t rsa

    ludy@server1:~$ ssh-keygen
    Generating public/private rsa key pair.
    Enter file in which to save the key (/home/ludy/.ssh/id_rsa)：   //输入回车
    Enter passphrase (empty for no passphrase):   123123              //输入密码回车
    Enter same passphrase again:                               //再输入确认后回车
    Your identification has been saved in /home/ludy/.ssh/id_rsa.
    Your public key has been saved in /home/ludy/.ssh/id_rsa.pub.
    The key fingerprint is:
    f1:35:4e:88:11:f1:c4:5a:7a:c9:2a:90:d3:5e:0a:6f ludy@ludy
    The key's randomart image is:
    +--[ RSA 2048]----+
    |        ++.      |
    |         =o.     |
    |     o  o=o.+    |
    |    = . +o++ .   |
    |     * oSo. .    |
    |      E .        |
    |     . .         |
    |                 |
    |                 |
    +-----------------+
    3.然后把你用户目录下的 .ssh/id_rsa.pub 拷贝到 server2 的root下（我作的测试所以用的root，你最好不要用root很危险～）

    ludy@server1:~/.ssh$ scp id_rsa.pub [email protected]:~/.ssh
    拷贝过去后，进入server2 id_rsa.pub 把 名字改为 authorized_keys
    root@server2:~/.ssh$  mv id_rsa.pub authorized_keys
    root@server2:~/.ssh$ chown root:root authorized_keys     //改变使用者 root
    root@server2:~/.ssh$ chmod 600  authorized_keys          //改变权限


测试scp test [email protected]:/tmp  ok


？？？？？？？现在可以在server1用密钥来登录
[root@localhost .ssh]# ssh [email protected]
The authenticity of host '192.168.93.129 (192.168.93.129)' can't be established.
RSA key fingerprint is 9d:9f:5f:a2:43:61:08:af:a4:a8:b1:b4:da:d2:54:19.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.93.129' (RSA) to the list of known hosts.
[email protected]'s password:

OpenSSH告诉你它不知道这台主机，但是你不用担心这个问题，因为你是第一次登录这台主机。键入“yes”。这将把这台主机的“识别标记”加到“~/.ssh/know_hosts”文件中。第二次访问这台主机的时候就不会再显示这条提示信息了。




正确：
ssh [email protected]
The authenticity of host '192.168.93.129 (192.168.93.129)' can't be established.
RSA key fingerprint is 9d:9f:5f:a2:43:61:08:af:a4:a8:b1:b4:da:d2:54:19.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.93.129' (RSA) to the list of known hosts.
Enter passphrase for key '/root/.ssh/id_rsa':
Enter passphrase for key '/root/.ssh/id_rsa':
Last login: Fri Jun 10 18:51:12 2011 from 192.168.93.133











    4.在server1编写shell脚本
    vim /usr/local/rsync/inosync.sh

#!/bin/sh
SRC=/tmp/
[email protected]:/tmp
INWT=/usr/local/bin/inotifywait
RSYNC=/usr/bin/rsync

$INWT -mrq -e create,move,delete,modify $SRC | while read D E F;do
        rsync -aHqzt $SRC $DST
done





    我解释一下
    $INWT -mrq -e create,move,delete,modify $SRC | while read D E F;do
            rsync -aHqzt --delete $SRC $DST
    －m 是保持一直监听
    －r 是递归查看目录
    －q 是打印出事件～
    －e create,move,delete,modify
    监听 创建 移动 删除 写入 事件

    rsync -aHqzt $SRC $DST

    -a 存档模式
    -H 保存硬连接
    -q 制止非错误信息
    -z 压缩文件数据在传输
    -t 维护修改时间
    -delete 删除于多余文件



5.测试

    ludy@server1:~$ ./inosync.sh &

    ludy@server1:~$ cd rsync

    ludy@server1:~/rsync$ touch asdfa

    在server2 机器查看

    root@server2:/home/ludy$ ls
    asdfa

    注意，可能第一次SSH 连接的时候需要输入一次密码，以后就不需要输入了～


ssh 192.168.93.129

Enter passphrase for key '/root/.ssh/id_rsa':    ###输的是私钥的密码，而不是server端的密码###

 

 

 

=======================   @ERROR: auth failed on moduleXXX


出现这种情况，先检查你的用户名和密码是否正确，如果都正确，有一个可能是原因是：远程rsync服务器的帐户密码文件的权限必须为600，例如，你在rsyncd.conf中设置了secrets file = /etc/rsyncd/rsync_pwd

那么你就必须确保rsync_pwd的访问权限为600：

chmod 600 /etc/rsyncd/rsync_pwd

 

 

===========================

2012/03/02 07:06:35 [1059] rsync: failed to create pid file /var/log/rsync/rsyncd.pid: File exists (17)
2012/03/02 07:06:35 [1059] rsync error: error in file IO (code 11) at clientserver.c(985) [receiver=3.0.6]
2012/03/02 09:23:40 [1573] rsync: failed to create pid file /var/log/rsync/rsyncd.pid: File exists (17)
2012/03/02 09:23:40 [1573] rsync error: error in file IO (code 11) at clientserver.c(985) [receiver=3.0.6]