企业级数据备份，rsync加shell编程，实现增量备份

今天谈一下我们自己公司的数据备份，我们公司主要做的是外贸网站，所以，一台服务器上几乎要放上300多个站．程序，图片加上数据库，几乎要达到100个G ，每天更新的数据量也非常大,备份为异地备份，也就是说，所有的数据要传到另外一台服务器．所以研究出以下备份策略及备份脚本，希望对读者有些帮助．以下为实现方式：

软件及策略说明：

软件：软件使用rsync 3.0版本，rsync 3.0比系统自带的2.6版本好用多了，他能实现边比对，边传输，大大提高了备份的速度

策略：网站程序为增量备份，第一次整体同步后，后期备份时，将会比对每一个文件，将有差异的文件进行备份．从而不会丢下任何一个文件．rsync比对文件效率非常高，而且边比对边传输文件．
数据库为每日整体备份．打包传输．每小时备份一次binlog文件．提高了备份的准确率，如果可以的话，也可以将binlog实行每半小时备份一次，找回数据时相对准确．

有人会问，我们为什么不用触发式备份．而是用这种隔一段时间备一次．这里我解释一下，触发式备份．主要用于大型网站，如新浪，搜狐．并且他们的备份方式也不止一种，触发式只是他们其中的一种．触发式只能用于非人为数据丢失．比如服务器硬盘突然报废．机房网络瘫痪．地震等等．如果人为删除数据．或者操作失误．那么，备份服务器上的数据．也会立马消失，这个就达不到备份的效果．

 

 

具体实现如下：

假如真实服务器A ：192.168.1.2      (实际操作换上真实服务器IP )

        备份服务器B ：192.168.1.3      (实际操作换上真实服务器IP)

 

一，以下为在真实服务器上A 上的操作

真实服务器A 为nginx +php-cgi+mysql 模式，nginx 安装目录为/usr/local/webserver/nginx/  所有的配置文件为一个虚拟主机一个配置文件，并在 /usr/local/webserver/nginx/conf/vhost/下．php安装目录为/usr/local/webserver/php , mysql 安装路径为/usr/local/webserver/mysql 　　　　　　　　　数据库文件在/usr/local/webserver/mysql/var/下

所有的数据全部储存在/data0下,/data0目录结构为：

 目录解释：

/data0/db  :为每日将所有数据库文件打包存放的地方，打包文件格式为：服务器名.日期.tar

/data0/dbcache : 为备份数据库文件时的临时目录

/data0/logs:  为mysqlbinlog 存放位置，

/data0/nginxconf：为服务器所有nginx配置文件备份存放位置，因为每天架站，删除站比较多，所以这个也需要备份

/data0/script: 为常用脚本存放位置

/data0/web  :  为所有网站程序所放置位置

 

二．

 (1) :在script目录下创建dbbak.sh脚本文件

脚本内容为：

 

#! /bin/bash
cp -rf  /usr/local/webserver/nginx/conf/vhost/* /data0/nginxconf/
for i in `ls /usr/local/webserver/mysql/var/`
do
if [ -d /usr/local/webserver/mysql/var/$i ];then
/usr/local/webserver/mysql/bin/mysqlhotcopy  -p=密码　$i  /data0/dbcache/
fi
done

cd /data0/dbcache/
tar -cf 50.22.128.53.`date +"%Y%m%d"`.tar *
find /data0/db -mtime +7 -exec rm -rf {} \;
mv *.tar /data0/db/
rm -rf /data0/dbcache/*
cd /data0 && /usr/local/bin/rsync   -artuz -R --delete ./  192.168.1.3::模块名>/dev/null 2>&1

 

下面进行解释：

 

#! /bin/bash
cp -rf  /usr/local/webserver/nginx/conf/vhost/* /data0/nginxconf/      #拷贝nginx配置文件
for i in `ls /usr/local/webserver/mysql/var/`　　　　　　　 #读取数据库目录下的所有文件　　　　　
do
if [ -d /usr/local/webserver/mysql/var/$i ];then　　　　　　#判断是否为目录
/usr/local/webserver/mysql/bin/mysqlhotcopy  -p=密码 $i  /data0/dbcache  # 如果是目录的　话，就执行mysqlhotcopy命令将数据库拷贝到/data0/dbcache目录
fi
done

cd /data0/dbcache
tar -cf 　服务器IP .`date +"%Y%m%d"`.tar *   #打包所有拷贝过来的数据库文件
find /data0/db -mtime +7 -exec rm -rf {} \;　#删除/data0/db 下7天以前的数据库打包文件
mv *.tar /data0/db/　　　　　　　　　　#将刚刚打包好的数据库文件拷贝到/data0/db
rm -rf /data0/dbcache/*                                #删除mysqlhoycopy复制过来的表文件               
cd /data0 && /usr/local/bin/rsync   -artuz -R --delete ./ 　备份服务器::备份服务器上的对应模块>/dev/null 2>&1   # 将/data0下的所有数据利用rsync 工具传输到备份服务器　本案例为192.168.1.3上的对应模块．
 

注：备份服务器上的模块将在下面进行讲解备份服务器配置时进行解释

 

(2):制定计划任务．让此脚本每天定时运行一次．可选择访问比较低的时候，例如：

00 00 * * * sh /data0/script/dbbak.sh
 

三，制定 binlog 备份脚本：

(1):在script目录下创建binlogbak.sh脚本文件

脚本内容如下：

/usr/local/webserver/mysql/bin/mysqladmin flush-logs -p密码 

find /data0/logs -name "binlog.*" -mtime +14 -exec rm -rf {} \;

cd /data0 && /usr/local/bin/rsync   -artuz -R --delete ./ --exclude "nginxconf/" --exclude "db/" --exclude "web/" --exclude "script/" 192.168.1.3::对应模块>/dev/null 2>&1

 

脚本解释：

 

/usr/local/webserver/mysql/bin/mysqladmin flush-logs -p密码   #刷新mysql 日志

find /data0/logs -name "binlog.*" -mtime +14 -exec rm -rf {} \;　#删除15天前的日志

cd /data0 && /usr/local/bin/rsync   -artuz -R --delete ./ --exclude "nginxconf/" --exclude "db/" --exclude "web/" --exclude "script/" 192.168.1.3::对应模块>/dev/null 2>&1

#将/data0/下除logs目录之外的所有目录排除，并将logs目录同步到远程备份服务器的对应目录

 

 (2): 创建计划任务，让此脚本每隔一小时运行一次

　00 * * * *  sh /data0/script/binlogbak.sh

 

至些，真实服务器上的操作已经全部完成，下面讲述备份服务器上的操作

 

三，在备份服务器上添加rsync备份模板

在/etc/下创建rsyncd.conf配置文件，文件本身没有，需创建

vim /etc/rsyncd.conf

输入以下内容

uid=root
gid=root
max connections=36000
use chroot=0
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock

[模块名]                                          #此模块名为以上两个脚本中使用的名
path=/home/backup　　　　　　 #备份数据存放目录
comment = mydata backup　　　   #备注说明
ignore errors = yes
read only=no
hosts allow = 192.168.1.2　　　　#只允许此IP进行备份
hosts deny =*

 注：  模块名为以上两个脚本中使用的模块名，例如以上模块名为　［backup］
如下：

 

uid=root
gid=root
max connections=36000
use chroot=0
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock

[backup]                                      
path=/home/backup
comment = mydata backup
ignore errors = yes
read only=no
hosts allow = 192.168.1.2
hosts deny =*

 

 则以上两个脚本中最后一行传输数据到备份服务器的脚本为：

dbbak.sh:
cd /data0 && /usr/local/bin/rsync   -artuz -R --delete ./  192.168.1.3::backup>/dev/null 2>&1

binlogbak.sh
cd /data0 && /usr/local/bin/rsync   -artuz -R --delete ./ --exclude "nginxconf/" --exclude "db/" --exclude "web/" --exclude "script/" 192.168.1.3::backup>/dev/null 2>&1

 

保存文件并启动rsync 服务

rsync --daemon

至此，所有的操作即已完成．真实服务器会每隔一天，将自己的数据和备份服务器进行比对，将备份服务器没有，或者修改过的文件，传输到备份服务器．每隔一个小时，会刷新一次mysql  的binlog文件，并传输到远程服器，最大数度的备份数据库文件．

有什么不懂的地方可以加我QQ相互讨论 ：410018348