rsync 远程同步记录--解决password-file权限问题。

一。简介

rsync 是一个做远程同步用的Linux命令。 （文章没有提及Windows版的cwrsync）

 

安装方式：1.ubuntu  apt-get  install  rsync     2. centos  yum install rsync  不再赘述。

 

启动：客户端和服务端都得启动。    rsync  --daemon  就启动了。

ps -ef|grep rsync  |grep -v grep  查一下看起来没、

如果想重启，就先kill 掉进程再  --daemon  如下命令

ps -ef|grep rsync  |grep -v grep   查进程PID号

kill  -9  PID

rsync  --daemon  这样就行了  如果你的配置文件不再 /etc/rsyncd.conf   命令后面加配置文件绝对路径就行。

rsync  --daemon  --config=/etc/rsyncd/rsyncd.conf

 

rsync有六种不同的工作模式：  （摘自网络）

1。拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。
如：rsync -a /data /backup

2.使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。
如：rsync -avz *.c foo:src

3.使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。
如：rsync -avz foo:src/bar /data

4.从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。
如：rsync -av [email protected]::www /databack

5.从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。   
如：rsync -av /databack [email protected]::www

6.列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。
如：rsync -v rsync://192.168.78.192/www

 

一般用这个东西来实现两个服务器中文件的同步，比如两个系统需要同步文件。那么就是两台Linux服务器之间脚本定时掉rsync同步。也就是第五条。

 

二：说一下比较常用的几个参数

rsync  -av --delete  --password-file=/etc/rsync.pass   /tmp/a/     [email protected]::backup/a/   

如上，一般脚本就使用这些参数就够了。   注意一点 / 这个是很敏感的。表示目录下的文件，否则同步目录。

/tmp/a  是当前客户机(传输者) 的文件目录  -R参数是指定相对路径。不建议指定相对路径。所以不建议-R

[email protected]::backup/a  是接受者。也就是rsync的服务端、 其中 backup 这个是配置的模块。也就是目的目录

rsync的配置文件在 /etc/rsyncd.conf  如果没有就自己创建就行。

-a   --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD

-v   --verbose 详细模式输出

--delete 删除那些DST中SRC没有的文件

--password-file=FILE 从FILE中得到密码          就如上这几个参数就够用了。想加哪个参数看文章finally标题的参数列表、

 

三：说一下配置文件。

rsync  -av --delete  --password-file=/etc/rsync.pass   /tmp/a/     [email protected]::backup/a/   

配置文件的话，主要是服务端的配置文件。客户端无所谓。下面是配置文件内容

uid = root
gid = root
port = 873   #默认端口  不写也行
read only = no
hosts allow = 192.168.1.101            #允许通过的IP地址，这有个坑，多个ip要写一行逗号隔开。

[backup]                               #要同步的模块名   上面backup位置
             comment = this is module for backup    
             path = /usr/local/src/                 #要同步的目录服务端进到这个目录下了。
             auth users = back                    #登录系统使用的用户名   随便起  就是上面的root
             secrets file = /etc/rsyncd.pass #密码文件的存放位置     名随便起。

如上这些配置就够用了。密码细则第四标题讲。

 

四。说一下关于rsync的密码访问

如果你  rsync  -av --delete   /tmp/a/     [email protected]::backup/a/   

如上命令同步文件时，也是可以的，只要你服务端没有指定 auth  users   和 secrets file 。

如果模块指定了secrets file  那么就必须使用你secrets file指定位置的文件作为密码文件。

这个密码文件内容就是 auth  users  中指定的虚拟用户名  :  密码   

例：     back:123456   back  就是如上配置文件中auth  users 指定的。  就这一句就够了。

然后你客户端访问服务端的时候就需要使用密码了，其中密码有五种解决方案。

(1) 手动输密码。就是手动指定，当然要是脚本或者定时任务这种肯定不行。

(2) 使用密码文件，如上服务端已经指定好密码文件位置和内容了。  下面就是客户端的操作了。客户端创建一个文件，爱在哪建在哪建。如 /etc/rsync.pass 然后文件里面就写密码就完事了。   比如  123456  就完了，不需要别的。然后在你输入rsync命令时加上--password-file=/etc/rsync.pass  参数 指定密码文件在哪就Ok  有个坑 密码文件必须 600 访问权限

(3) 使用ssh 传。  这个是ssh-keygen  一路回车。然后去找  公钥。/root/.ssh/id_rsa.pub   会生成在这个地方。然后从客户端将这个文件追加到服务端的 authorized_keys 中   然后就ok了  (这个我没试，我采用第二种方法)

(4) 使用环境变量  有一个环境变量叫RSYNC_PASSWORD     vim  /etc/profile 编辑这个文件  加入命令  export  RSYNC_PASSWORD = "123456"#  123456就是你对应想连的远程模块的密码。 然后  source  /etc/profile 或者 

.  /etc/profile  注意前面这个  .  点跟 / 是分开的 然后输env 命令获取环境变量，发现有了，那就ok。但是需要注意的是你的程序是在哪启动的，如果跑在服务器下没问题，要是跑到docker中使用这种方法就不合适了。(推荐第二种)

如果你想删掉某个环境变量，在/etc/profile中   unset   RSYNC_PASSWORD  就删了  

经过如上环境变量的配置   即使服务端设置密码rsync  -av --delete   /tmp/a/     [email protected]::backup/a/    也OK不用手动输入密码。

(5) 使用 sshpass  这个来通过密码访问，这个密码是明示的，所以肯定不安全。

先  yum  install  sshpass  安装。然后就可以用了。

sshpass  -p  123456  rsync   -av --delete   /tmp/a/     [email protected]::backup/a/   就OK了。

可以是可以，但是密码是明文传输的，太危险了。 相比之下第二种方案是最好的。

 

五：说一下遇到的坑

1. rsync: failed to connect to 10.1.2.3 (10.1.2.3): Connection refused (111)   
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]

服务端没有开启 rsync 服务。(客户端没开通)
解决办法： 服务端开通  rsync --daemon 服务。 

2.rsync -av /home/zy/testRsync/a   [email protected]::/home/zy/testRsync/a (错误的命令)
ERROR: The remote path must start with a module name not a /
rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2]
:: 后面要跟 module名称 而不是服务器的绝对路径。  ::moduleName  而不是  ::/home

3.@ERROR: Unknown module 'home'
rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2]
解决办法：  
rsync -av /home/zy/testRsync/a   [email protected]::home/a
服务端/etc/rsync.conf 文件中添加一个 module 叫 home 或者其他你爱叫啥叫啥。

4. sending incremental file list
rsync: failed to set times on "/b/." (in brower): Operation not permitted (1)
rsync: delete_file: unlink(ee.txt) failed: Permission denied (13)

这个就是权限的问题， 把文件都提权 chmod -R 777 再试就好使了。。。

还有别的错，我忘了。。。网上一般都能搜索到解决方案。

 

六 。password-file权限问题

密码文件只有600的权限下才能使用，  chmod  600  /etc/rsync.pass 。

如上配置已经是配置文件600了，而我要说的权限问题在于 你是用root创建的这个文件，但是你程序启动者是www或者是其他是没有权限能访问这个 密码文件的。解决办法：  chown  www:www  /etc/rsync.pass    修改这个密码文件的拥有者,这样就能在不允许修改600这个权限的前提下使用这个文件 。 

 

对于定时任务来说。就比如你用 crontab  他启动定时任务是以root来读取password-file从而执行rsync的。所以你还必须把所有者改成root。

而上面这个www是你在程序里面调 rsync 此时密码文件600  只有创建者才能访问，所以你必须用chown将所有者改成www才能在程序内部访问。算是一个转圈坑吧。

Finally

-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关，强制对文件传输进行校验
-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-H, --hard-links 保留硬链结
-p, --perms 保持文件权限
-o, --owner 保持文件属主信息
-g, --group 保持文件属组信息
-D, --devices 保持设备文件信息
-t, --times 保持文件时间信息
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run现实哪些文件将被传输
-W, --whole-file 拷贝文件，不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
--force 强制删除目录，即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间，单位为秒
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
-z, --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽，KBytes per second
-h, --help 显示帮助信息