linux rsync 原理,rsync算法原理及使用

如果服务器之间需要保持某些文件的一致，我们可以使用scp来复制，如果需要长期保持一致，可以配合crontab脚本来使用。但是此时我们有更优的方式，就是rsync+crontab来实现定时增量传输保持文件一致。

rsync功能很强大，网上的资料也都很全，这里做一些简单的汇总。

rsync原理

这一小节内容大幅度转载了 RSYNC 的核心算法 的内容，因为原文章写的太好，就不再狗尾续貂了，感兴趣的可以直接查看原文。他的翻译原文是：The rsync algorithm。

rsync是linux下同步文件的一个高效算法，用于同步更新两处计算机的文件和目录，并适当利用查找文件中的不同块以减少数据传输。rsync的主要特点就是增量传输，只对变更的部分进行传送。

增量同步算法

假如我们现在需要同步两个文件保持一致，并且只想传送不同的部分，那么我们就需要对两边的文件做diff，但是这两个问题在两台不同的机器上，无法做diff。如果我们做diff，就要把一个文件传到另一台机器上做diff，但这样一来，我们就传了整个文件，这与我们只想传输不同部的初衷相背。于是我们就要想一个办法，让这两边的文件见不到面，但还能知道它们间有什么不同。这就是rsync的算法。

rsync同步算法

我们将同步源文件名称为fileSrc，同步目的文件叫fileDst。

1. 分块Checksum算法

首先，我们会把fileDst的文件平均切分成若干个小块，比如每块512个字节(最后一块会小于这个数)，然后对每块计算两个checksum:

一个叫rolling chec