ARM40-A5应用——使用rsync与Linux服务器的远程数据同步
ARM40-A5应用——使用rsync与Linux服务器的远程数据同步
2018.7.5
版权声明：本文为博主原创文章，允许转载。
ARM40部署提要：
（1）根据3.1节、3.2节建立各个文件；
（2）按4.1节、4.2节测试。
本文介绍ARM40-A5与阿里云Linux服务器的远程数据同步方法。 在有线网络，4G网络，GPRS(ppp)网络的情况下都可使用。
一、rsync 简介
与复制命令 cp 一样，rsync 也把文件从源复制到目标。但是，与 cp 不同，rsync 操作的源和目标既可以是本地的，也可以是远程的。
在网络计算机系统之间共享文件的工具中，最好的文件分布工具是 rsync。
假设主机α上有文件A，主机β上有文件B，现在要让文件B和文件A保持同步。最简单的方法是将A文件直接拷贝到β主机上。但如果文件A很大，且B和A是相似的（两文件实际内容只有少部分不同），拷贝整个文件A可能会消耗不少时间。如果可以拷贝A和B不同的那一小部分，则传输过程会很快。rsync增量传输算法就充分利用了文件的相似性，解决了远程增量拷贝的问题。
rsync 可以在中断之后恢复传输；它只传输源文件和目标文件之间不一致的部分；rsync 可以执行完整备份或增量备份。
rsync 主要功能如下：
（1）拷贝本地文件。
如将/src/ 目录的内容拷贝到/dst 目录：
rsync -a /src/ /dst
（2）使用一个远程 shell 程序(如ssh)来实现将本地机器的内容拷贝到远程机器。
如将本地 /etc/hosts 拷贝到远程机器 192.168.1.130 的 /home/nfs/rsync-test 目录：
rsync -avz /etc/hosts [email protected]:/home/nfs/rsync-test
（3）使用一个远程 shell 程序(如ssh)来实现将远程机器的内容拷贝到本地机器。
如将远程机器 192.168.1.130 的 /home/nfs/rsync-test 目录拷贝到本地的当前目录：
rsync -avz [email protected]:/home/nfs/rsync-test ./
（4）从远程 rsync 服务器中拷贝文件到本地机器。
例1：将远程机器 192.168.1.130 的ARM40_IDC模块目录拷贝到本地的当前目录：
rsync -avz [email protected]::ARM40_IDC ./
例2：将远程机器 192.168.1.130 的ARM40_IDC模块目录中的tst_180728 文件拷贝到本地的当前目录：
rsync -avz --timeout=20 [email protected]::ARM40_IDC/tst_180728 ./ --password-file=/etc/rsync.passwd
例3：Linux内核官网www.kernel.org提供rsync的下载方式，官方给出的地址是 rsync://rsync.kernel.org/pub，
读取该服务器的linux/kernel/v3.x/linux-3.0.15.tar.sign文件到本地的 /tmp 目录：
rsync -avzP rsync://rsync.kernel.org/pub/linux/kernel/v3.x/linux-3.0.15.tar.sign/tmp
（5）从本地机器拷贝文件到远程 rsync 服务器中。
例1：将本地当前目录拷贝到远程机器 192.168.1.130 的ARM40_IDC模块目录：
rsync -avz ./ [email protected]::ARM40_IDC --password-file=/etc/rsync.passwd
例2：将本地当前目录中的 tst_180728 文件拷贝到远程机器 47.98.140.167 的ARM40_IDC模块目录中的 tst_pol 目录中，如果该目录不存在，则新建该目录。
rsync -avz ./tst_180728 [email protected]::ARM40_IDC/tst_pol/ --password-file=/etc/rsync.passwd
（6）列出远程机器的文件列表。
例1：列出远程机器 192.168.1.130 的/home/nfs/rsync-test 目录的文件列表：
rsync -avz [email protected]:/home/nfs/rsync-test
例2：列出远程机器 47.98.140.167 的ARM40_IDC模块目录的文件列表：
rsync -avz [email protected]::ARM40_IDC #需要输入密码
rsync -avz [email protected]::ARM40_IDC --password-file=/etc/rsync.passwd #自动获取密码
例3：读取Linux内核官网服务器的部分内容：
rsync --list-only rsync://rsync.kernel.org/pub/
rsync 的功能较多，网上资料也很丰富，本文仅介绍个别功能。更多内容请参阅文末的“参考文章”或网上资料。
二、Linux服务器上的配置
2.1、打开873端口
本文使用的Linux服务器为阿里云ECS上安装的ubuntu服务器。
由于rsync默认使用的端口为873，所以需要阿里云ECS 的访问规则，打开873端口。详细情况可参阅“参考文章”中的《阿里云ecs禁止ping，禁止telnet》。
下图是本文给出示例：
图一 在阿里云ECS 的访问规则中打开873端口
其中：
22/22 端口为 ssh；
23/23 端口为 telnet；
ICMP 的-1/-1为 ping；
3389/3389为远程桌面；
873/873为 rsync。
注：
为了验证打开873端口的过程是否正确，笔者用23端口做了一下验证。打开了23端口，开启telnet服务，然后在ARM40-A5上 telnet 47.98.140.167，输入用户名和密码后，可以登陆。开启 telnet 服务的方法可以在网上搜索资料。
除了打开873端口，还需要打开 rsync 服务。
2.2、启动 rsync 服务
ubuntu默认已安装rsync，rsync服务默认是没有启动的，可以用 ps -ef | grep rsync 观察是否已启动 rsync 服务。
启动 rsync 服务步骤如下：
① 修改 vim /etc/default/rsync 文件中的 RSYNC_ENABLE=false 为：
#RSYNC_ENABLE=false
RSYNC_ENABLE=true
② 配置文件 /etc/rsyncd.conf
cp /usr/share/doc/rsync/examples/rsyncd.conf /etc
修改 /etc/rsyncd.conf 中的如下几行：
#[ftp]
[ARM40_IDC]
path = /opt/idc
# read only = yes
read only = no
# uid = nobody
uid = root
# gid = nogroup
gid = root
# auth users =
auth users =ARM40-A5
secrets file = /etc/rsyncd.secrets为方便理解，修改的尽量少，更多信息请参考网上资料。附（1）为 /etc/rsyncd.conf 文件的一个完整示例。
配置文件 /etc/rsyncd.conf 里面提到的 /etc/rsyncd.secrets 和 /opt/idc 也都要配置好：
echo "ARM40-A5:123456" > /etc/rsyncd.secrets #authusers=ARM40-A5,secrets:123456
chmod 0600 /etc/rsyncd.secrets
mkdir -p /opt/idc
③ 启动 rsync 服务
/etc/init.d/rsync start
如果启动成功，用 ps -ef | grep rsync | grep -v grep 可以观察到：
root 25788 1 0 Jul04 ? 00:00:00 /usr/bin/rsync --daemon --no-detach
在阿里云shell中，可以在命令行输入netstat -tlanp 或 netstat -tlunp，查看 873 端口是否已经处于监听状态。
三、ARM40-A5上的配置
3.1、rsync 命令和 libpopt.so.0 库文件
拷贝 rsync 命令和 libpopt.so.0 库文件，保存在ARM40-A5如下的位置：
/usr/bin/rsync
/usr/lib/libpopt.so.0
使用rsync --version可以查看 rsync 命令的版本信息。
在ARM40-A5上建立密码文件，其内容为 rsync模块认证的密码：
echo "123456" > /etc/rsync.passwd # secrets:123456
chmod 0600 /etc/rsync.passwd
四、与Linux服务器的远程数据同步
4.1、从阿里云的服务器同步文件到ARM40-A5
在阿里云服务器的 /opt/idc 目录下新建一个用于测试的文件a.tst，然后在ARM40-A5中输入如下命令：
/* 将阿里云服务器 /opt/idc/ 目录下的文件同步到 ARM40-A5的 /var/www/ 目录，需要输入密码123456 */
rsync -avz --timeout=20 [email protected]::ARM40_IDC /var/www/
在ARM40-A5的 /var/www/ 目录可看到 a.tst 文件了。
如果不想人工输入密码，命令如下：
/* 服务器 —-> ARM40-A5 */
rsync -avz --timeout=20 [email protected]::ARM40_IDC /var/www/ --password-file=/etc/rsync.passwd
/* 将阿里云服务器 /opt/idc/ 目录下的tst_180728文件同步到 ARM40-A5的 /var/www/ 目录 */
rsync -avz --timeout=20 [email protected]::ARM40_IDC/tst_180728 /var/www/ --password-file=/etc/rsync.passwd
4.2、将ARM40-A5上的文件同步到阿里云服务器
在ARM40-A5的 /var/www/ 目录下新建一个用于测试的文件arm40_b.tst，然后在ARM40-A5中输入如下命令：
/* 将ARM40-A5上/var/www/ 目录下的文件同步到阿里云服务器的 /opt/idc 目录 */
/* ARM40-A5 —-> 服务器 */
# rsync -avz /var/www/ [email protected]::ARM40_IDC --password-file=/etc/rsync.passwd
在阿里云服务器的 /opt/idc/ 目录可看到 arm40_b.tst 文件了。
/* 将ARM40-A5上/var/www/tst_180728 文件同步到阿里云服务器的 /opt/idc/tst_pol 目录 */
rsync -avz /var/www/tst_180728 [email protected]::ARM40_IDC/tst_pol/ --password-file=/etc/rsync.passwd
五、常见问题
1、uid、gid造成的报错（报错内容见附（2））
修改服务器端 /etc/rsyncd.conf 文件中的 uid、gid 需改为 uid = root，gid = root .
2、Connection refused 的报错，例如：
rsync: failed to connect to 47.98.140.167 (47.98.140.167): Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(128) [sender=3.1.1]
该问题属于服务器端服务未启动所造成。使用 ps -ef | grep rsync | grep -v grep 检查rsync服务是否已经启动，应能看到rsync服务并没有启动。
启动 rsync 服务：
/etc/init.d/rsync start
如果启动成功，用 ps -ef | grep rsync | grep -v grep 可以观察到。
3、Permission denied 的报错，例如：
rsync: could not open password file /etc/rsync.passwd: Permission denied (13)
rsync error: syntax or usage error (code 1) at authenticate.c(187) [sender=3.1.1]
该问题是因为对本地的文件没有权限，需要在 rsync 前加sudo，为 sudo rsync .
4、password file must not be other-accessible 的报错，例如：
ERROR: password file must not be other-accessible
rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.0]
该问题是因为 rsync.passwd 的权限不对，应该设置为600，chmod 600 rsync.passwd
5、长时间无进展，也无法退出
可能是网络异常导致。需要在rsync中增加超时，例如 --timeout=10，到10s后，rsync会自动退出。
参考文章：
Unix/Linux 系统自动化管理——数据备份与同步篇
https://www.ibm.com/developerworks/cn/aix/library/0908_unixsync_chengyan/index.html
对话 UNIX——rsync 的高级应用
https://www.ibm.com/developerworks/cn/aix/library/au-spunix_rsync/
《鳥哥的 Linux 私房菜》11.6.2 以 rsync 進行同步鏡像備份
http://linux.vbird.org/linux_server/0310telnetssh.php#rsync
rsync
https://wiki.archlinux.org/index.php/rsync
Rsync official documentation
https://rsync.samba.org/documentation.html
阿里云ecs禁止ping，禁止telnet
https://www.cnblogs.com/dadonggg/p/7885997.html
rsync算法原理和工作流程分析
https://www.cnblogs.com/f-ck-need-u/p/7226781.html?utm_source=itdadao&utm_medium=referral#auto_id_0
Linux基本服务——第2章 rsync完全手册
http://www.cnblogs.com/f-ck-need-u/p/7048359.html
荟聚计划：共商 共建 共享 Grant
附：
（1）服务器端 /etc/rsyncd.conf 文件示例
# sample rsyncd.conf configuration file
# GLOBAL OPTIONS
#motd file=/etc/motd
#log file=/var/log/rsyncd
# for pid file, do not use /var/run/rsync.pid if
# you are going to run rsync out of the init.d script.
# The init.d script does its own pid file handling,
# so omit the "pid file" line completely in that case.
# pid file=/var/run/rsyncd.pid
#syslog facility=daemon
#socket options=
# MODULE OPTIONS
#[ftp]
[ARM40_IDC]
comment = public archive
path = /opt/idc
use chroot = yes
# max connections=10
lock file = /var/lock/rsyncd
# the default for read only is yes...
# read only = yes
read only = no
list = yes
# uid = nobody
# gid = nogroup
uid = root
gid = root
# exclude =
# exclude from =
# include =
# include from =
# auth users =
auth users =ARM40-A5
secrets file = /etc/rsyncd.secrets
strict modes = yes
# hosts allow =
# hosts deny =
ignore errors = no
ignore nonreadable = yes
transfer logging = no
# log format = %t: host %h (%a) %o %f (%l bytes). Total %b bytes.
timeout = 600
refuse options = checksum dry-run
dont compress = *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz（2）uid、gid造成的报错
root@ARM40:/var/www# rsync -avz /var/www/ [email protected]::ARM40_IDC --password-file=/etc/rsync.passwd
This rsync lacks old-style --compress due to its external zlib. Try -zz.
Continuing without compression.
sending incremental file list
rsync: failed to set times on "/." (in ARM40_IDC): Operation not permitted (1)
./
arm40_b.tst
rsync: chgrp "/.arm40_b.tst.FNqusP" (in ARM40_IDC) failed: Operation not permitted (1)
sent 160 bytes received 214 bytes 748.00 bytes/sec
total size is 8 speedup is 0.02
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1178) [sender=3.1.2]
root@ARM40:/var/www#