Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backup.sh脚本+七牛qshell工具

目前市面上普遍采用的VPS网站备份方式用脚本定时打包网站数据及数据库后上传到Dropbox、Google Drive之类的云端硬盘。但由于存储在网盘,存在较大的容量限制,另外也存在上传下载的限速问题。今天居正,给出两套服务尽可能完美的解决站点备份的问题。它们的大名想必各位站长也不会陌生:秋水逸冰backup.sh脚本和七牛qshell工具。

Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backup.sh脚本+七牛qshell工具_第1张图片

关于站点备份的二三事相信各位站长也没少折腾过,目前市面上普遍采用的方式大体有两种,一种是用多备份这样的第三方服务,另一种则是利用脚本定时打包网站数据及数据库后上传到Dropbox、Google Drive之类的云端硬盘。两种方案都可以完全做到免费,但后者由于存储在网盘,存在容量限制(百度云虽然容量大,但拿来当备份也比较少见,因为我们购买的VPS一般都是国外主机,没有速度优势。另外也存在上传下载的限速问题)。今天居正针对第二种方案,给出两套服务尽可能完美的解决站点备份的问题。它们的大名想必各位站长也不会陌生:秋水逸冰backup.sh脚本七牛qshell工具

更多有关网站技术的教程可参考:

VPS网站数据备份教程(1):backup.sh

由SQL注入(或数据库权限)渗透WordPress站点的一些手法

Linux服务器磁盘挂载:让空余的大硬盘VPS不再吃灰

一、七牛服务的配置部分

①创建空间

注册:https://portal.qiniu.com/signup?code=3lotum461pf82(我的aff,如果还没有注册并且不介意的话可以点一下啦

 )

登录:https://portal.qiniu.com

Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backup.sh脚本+七牛qshell工具_第2张图片

由于我们只用于备份,所以只要看存储空间的价格就行了。七牛提供10G的免费空间,这个大小对于一般站点的备份是足够的。

Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backup.sh脚本+七牛qshell工具_第3张图片

假如我们的网站数据文件是500MB/个,天天备份,那么达到10G的大小则是20天,我们可以在空间里面设置自动删除20天之前的备份文件,这样就总也不会超出10G。

按照以下步骤创建一个用于备份的空间:

1.点击左侧“对象存储”。

2.点击“新建存储空间”。

3.在“存储空间名称”中输入想创建为备份用空间(bucket)的名称。这个名称请记下来,我们之后有用。

4.在“存储区域”里面选择一个地区。一般离你的VPS机房越近越好,美国的机器建议选北美速度会比较快。但这里由于华南减价居正就选华南了,反正用于备份对速度速度要求也没那么高。

5.在“访问控制”里面选择“私有空间”。毕竟我们不想让自己的备份文件被别人下载到。

6.点击“确定创建”。

如下:

Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backup.sh脚本+七牛qshell工具_第4张图片

在这里我们的空间就创建好了。七牛还会提醒你进行绑定域名等后续操作,不过由于我们的空间只是用来放备份文件的,故不需要设置这些CDN相关的东西。

②配置qshell

七牛提供一个支持Linux、macOS、Windows平台的开发者工具,通过调用API在VPS上操作七牛空间。

在这里下载对应版本/系统位数的qshell:https://developer.qiniu.com/kodo/tools/1302/qshell

附:查看Linux系统位数的方法:

1. ls / #如果有lib64或这个目录,那操作系统就是64位的

2. getconfig LONG_BIT 若输出32即为32位系统,64为64位系统

32位的系统中int类型和long类型一般都是4字节,

64位的系统中int类型还是4字节的,但是long已变成了8字节。

inux系统中可 用”getconf WORD_BIT”和”getconf LONG_BIT”获得word和long的位数。

64位系统中应该分别得到32和64。

3. uname -a中若为X86示意为64位系统,i386等位32位系统

refer to:http://blog.51cto.com/wbwk2005/423465

以64位的系统为例:

wget http://devtools.qiniu.com/qshell-v2.1.8.zip #利用wget下载qshell工具

unzip qshell-v2.1.8.zip #解压

cp qshell-linux-x64 /usr/bin/qshell #将文件复制到bin目录下,这样在任何地方都能执行qshell命令

chmod +x /usr/bin/qshell #设置可执行权限

然后在七牛后台取得自己密钥的AccessKey和SecretKey,保存下载备用:

Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backup.sh脚本+七牛qshell工具_第5张图片

最后在VPS上执行此命令授权:

qshell account 你的AccessKey 你的SecretKey

#例如居正的是:

qshell account _Sb-mV19gxrZ2E5mh2ERUHjx9yZ1O-5kU5Jo0lB4 xxxx2ERUHjx9yZ1O-5xxx

二、配置backup.sh

秋水逸冰的backup.sh是目前市面上最好用的Linux一键备份脚本之一。

由于backup.sh默认只支持gdrive和ftp备份,居正在这里进行了相应的修改使其能够备份文件到七牛(这里采用了qshell rput系列命令,参考),并且去除了备份到gdrive的功能)。

安装backup.sh脚本(文字修改自秋水逸冰官网):

1、下载该脚本并赋予执行权限

wget --no-check-certificate https://gitee.com/juzheng/source/raw/master/backup_qiniu.sh -O backup.sh

chmod +x backup.sh

2、修改并配置脚本

请使用 vim 或 nano 等工具来修改。

关于变量名的一些说明:

ENCRYPTFLG (加密FLG,true 为加密,false 为不加密,默认是加密)

BACKUPPASS (加密密码,重要,务必要修改)

LOCALDIR (备份目录,可自己指定)

TEMPDIR (备份目录的临时目录,可自己指定)

LOGFILE (脚本运行产生的日志文件路径)

BUCKET (七牛的容器名字,刚才创建的时候填的)

MYSQL_ROOT_PASSWORD (MySQL/MariaDB/Percona 的 root 用户密码)

MYSQL_DATABASE_NAME (指定 MySQL/MariaDB/Percona 的数据库名,留空则是备份所有数据库)

※ MYSQL_DATABASE_NAME 是一个数组变量,可以指定多个。举例如下:

MYSQL_DATABASE_NAME[0]="phpmyadmin"

MYSQL_DATABASE_NAME[1]="test"

BACKUP (需要备份的指定目录或文件列表,留空就是不备份目录或文件)

※ BACKUP 是一个数组变量,可以指定多个。举例如下:

BACKUP[0]="/data/www/default/test.tgz"

BACKUP[1]="/data/www/default/test/"

BACKUP[2]="/data/www/default/test2/"

LOCALAGEDAILIES (指定多少天之后删除本地旧的备份文件,默认为 7 天)

DELETE_REMOTE_FILE_FLG (删除FTP 上的备份文件 FLG,true 为删除,false 为不删除)

FTP_FLG (上传文件至 FTP 的 FLG,true 为上传,false 为不上传)

FTP_HOST (连接的 FTP 域名或 IP 地址)

FTP_USER (连接的 FTP 的用户名)

FTP_PASS (连接的 FTP 的用户的密码)

FTP_DIR (连接的 FTP 的远程目录,比如: public_html)

一些注意事项的说明:

1)脚本需要用 root 用户来执行;

2)脚本需要用到 openssl 来加密,请事先安装好;

3)脚本默认备份所有的数据库(全量备份);

4)备份文件的解密命令如下:

openssl enc -aes256 -in [ENCRYPTED BACKUP] -out decrypted_backup.tgz -pass pass:[BACKUPPASS] -d -md sha1

5)备份文件解密后,解压命令如下:

tar -zxPf [DECRYPTION BACKUP FILE]

解释一下参数 -P:

tar 压缩文件默认都是相对路径的。加个 -P 是为了 tar 能以绝对路径压缩文件。因此,解压的时候也要带个 -P 参数。

3、运行脚本开始备份

./backup.sh

脚本默认会显示备份进度,并在最后统计出所需时间。

如果你想将脚本加入到 cron 自动运行的话,就不需要前台显示备份进度,只写日志就可以了。

这个时候你需要稍微改一下脚本中的 log 函数。

log() {

    echo "$(date "+%Y-%m-%d %H:%M:%S")" "$1"

    echo -e "$(date "+%Y-%m-%d %H:%M:%S")" "$1" >> ${LOGFILE}

}

改为:

log() {

    echo -e "$(date "+%Y-%m-%d %H:%M:%S")" "$1" >> ${LOGFILE}

}

关于如何使用 cron 自动备份,这里就不再赘述了 以 CentOS 6 来举例说明。

修改文件 /etc/crontab,内容如下:

SHELL=/bin/bash

PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin

MAILTO=root

HOME=/root

# For details see man 4 crontabs

# Example of job definition:

# .---------------- minute (0 - 59)

# |  .------------- hour (0 - 23)

# |  |  .---------- day of month (1 - 31)

# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...

# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat

# |  |  |  |  |

# *  *  *  *  * user-name command to be executed

30  1  *  *  * root bash /root/backup.sh

以上表示,每天凌晨 1 点 30 分,root 用户执行一次 backup.sh 脚本。

注意:

一定要修改其中的 PATH 和 HOME 变量的值。

尤其是 HOME 变量,qshell 命令能否正确执行,是要依赖于其配置文件的。默认用 root 配置的话,其配置文件夹应该是 /root/.qshell/ ,所以要更改 HOME 的值。

可以在七牛空间的内容管理里面看到已经备份的文件,同时可以下载:

Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backup.sh脚本+七牛qshell工具_第6张图片

三、七牛空间:备份文件生命周期设置

最后我们需要在空间里面设置自动删除20天之前的备份文件,使容器总大小不会超出10G的免费额度。

在生命周期里面点击新建规则:

Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backup.sh脚本+七牛qshell工具_第7张图片

输入规则名字。然后在下面把“删除文件”打开,设置删除时间为20天:

Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backup.sh脚本+七牛qshell工具_第8张图片

OK,以上就是给大家带来的“Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backup.sh脚本+七牛qshell工具”教程。如果你有任何疑问请在下面评论区提出!

本文首发于淀粉月刊:https://dfkan.com

原作者:居正

发布时间:2018年6月22日

点此查看原文

你可能感兴趣的:(Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backup.sh脚本+七牛qshell工具)