《用户数据备份方案》设计、开发、爬坑
最近公司要做一个数据备份，数据是用户产生的，基本上都是文件和图片。备份数据要打包成成 tar 包，所以设计如下方案：
《用户数据备份方案》
1. 采用 bash shell 开发数据备份脚本
2. 数据备份目录新建在 dcp/backup 下
3. 所有需要备份的文件打包为 tar 包，名字以年月日命名，如：2020-04-07.tar.gz 2020-04-07_all.tar.gz
4. 备份规则:
-
天级：每天
00:00备份昨天的产生的新数据 -
周级：每周周一
00:00备份所有的全量数据
5. 删除规则：
-
每天
00:00删除 7 天之前的天级备份数据 -
每周周一
00:00删除上周的周级备份数据
6. 定时执行：
- 使用
crontab执行定时任务
方案设计好以后就可以进行开发了。但是在开发的过程中遇到了不少小坑。
坑一：date 命令
由于我使用 Mac 进行开发的，所以在做时间处理的时候遇到了一些坑。 date 在进行时间加减的时候用的参数是 -d，但是在 Mac 下就报错了。这是因为在 Mac 下参数变成 -v
参考资料：
https://blog.csdn.net/weixin_37696997
https://www.cnblogs.com/alsodzy/p/8403870.html
https://blog.csdn.net/guddqs/article/details/80745464
为了兼容 Mac 和 Linux 发行版，我们需要判断当前系统是什么
#!/bin/bash
if [[ `uname -a` =~ "Darwin" ]]
then
echo "Mac"
elif [[ `uname -a` =~ "centos" ]]
then
echo "Centos"
elif [[ `uname -a` =~ "ubuntu" ]]
then
echo "Ubuntu"
else
echo "Other"
fi
~ 是判断右侧正则表达式是否匹配，匹配输出 1 不匹配输出 0
坑二： tar 包绝对路径
tar 打包是在相对路径下进行的
tar cvzf 2020_04-08_all.tar.gz files/
但是我们在写脚本为了路径正确，经常要用到绝对路径，如果直接使用有时会报错的，需要加上 P 参数，记得要放在 f 参数之前
tar cvzPf 2020_04-08_all.tar.gz /data/dcp/www/files/
坑三： tar 指定解压后的目录
如果直接用绝对路径打包，解压后包里面的目录是从根目录开始的，如果想指定文件的上级目录就需要加上 -C 参数来指定目录，然后指定解压后的目录是 files
tar cvzPf 2020_04-08_all.tar.gz -C /data/dcp/www files
坑四：find 和 tar 配合使用
在打包的时候，有时候并不是所有的数据都要，这时候就需要过滤一部分数据进行打包，过滤查找就用 find 命令
find命令格式及find命令详解
find 按文件修改时间查找文件
find 和 tar 配合使用有很多方式，具体参考下面的链接
How to find and tar files into a tar ball
这里我们使用最常见的管道命令
find /data/dcp/www/files -mtime 0 | xargs tar cvzf 2020_04-08.tar.gz
或者使用 -exec 命令
find /data/dcp/www/files -mtime 0 -exec tar cvzf 2020_04-08.tar.gz {} +
坑四：数据冗余
上述命令看似没有问题，但是在打包的时候回打包成多余的冗余数据，这是为什么呢？
原因是目录也有时间信息，如果要忽略目录只要文件，那么只需要加上 -type f 参数就好
find /data/dcp/www/files -type f -mtime 0 | xargs tar cvzf 2020_04-08.tar.gz
坑五：find 和 tar 指定解压后的目录
使用 find 命令，打包需要管道，但是命令格式就会发生变化，为了指定目录，我们需要变通，换一种方式
cd /data/dcp/www
find files -mtime 0 | xargs tar cvzf 2020_04-08.tar.gz
这样就可以指定 find 和 tar 解压后的目录
最后放出用户数据备份的源码：
#!/bin/bash
# today
dt=`date +"%Y-%m-%d"`
# src and dest file path
src="/data/dcp/www"
dest="/data/dcp/backup"
day() {
find ${dest} -type f -name ${last_week}.tar.gz | xargs rm -rf
cd $src
find files -type f -mtime 0 | xargs tar cvzf ${dest}/${yesterday}.tar.gz
}
week() {
find ${dest} -type f -name ${last_week}_all.tar.gz | xargs rm -rf
cd $src
tar cvzf ${dest}/${dt}_all.tar.gz files/
}
# Judge Mac or Linux
if [[ `uname -a` =~ "Darwin" ]]
then
yesterday=`date -v -1d +"%Y-%m-%d"`
last_week=`date -v -1w +"%Y-%m-%d"`
else
yesterday=`date -d '-1 day' +%Y-%m-%d`
last_week=`date -d '-1 week' +%Y-%m-%d`
fi
# day or week type
if [ "$1" = "day" ]
then
day
elif [ "$1" = "week" ]
then
week
else
echo "--------- *Please input task type* ----------"
echo "bash $0 day [OR] bash $0 week"
fi
最后，在 crontab 中添加定时任务
0 0 * * * bash /data/dcp/script/dcp_user_data_backup.sh day
0 0 * * 1 bash /data/dcp/script/dcp_user_data_backup.sh week