博客之前一直采用的是本地备份方式，如果本地硬盘故障了那么数据也就都没了。在偶然的一天看了一篇文章《Python+Shell脚本结合阿里云OSS对象存储定时远程备份网站》，阿里云ECS到阿里云OSS可以走内网，正好我也是用的阿里云ECS，因为于是就开始折腾。
0x01 OSS配置
-
开通OSS，并创建Bucket
登录阿里云控制台，开通OSS，然后新建一个Bucket（名称自定义），注意选择ECS相同的区域（比如青岛的ECS我就选择华北1），并且选择私有读写权限
新建Bucket -
创建认证秘钥
点击安全令牌 -
开始授权
开始授权
创建得到的密钥最好保存一份，因为只能获取一次：
AccessKey创建成功
0x02 SDK脚本
SDK脚本可以参考OSS帮助文档《SDK参考》，根据自己熟悉的语言选择。我这边使用的是Python SDK
- 安装SDK
OSS的Python SDK需要用到oss2插件，如果服务器上已经安装了pip工具，可直接执行如下命令安装oss2插件
# pip install oss2
如果服务器没有pip工具则需要先安装，再安装oss2
# yum install python-pip -y
验证oss版本
>>> import oss2
>>> oss2.__version__
'2.2.2'
上面的输出表明您已经成功安装了特定版本的Python SDK（这里以版本2.2.2为例）。
- 上传脚本
官方代码请参考《Python SDK》。
下面是我自己使用的上传脚本
# -*- coding: utf-8 -*-
from __future__ import print_function
import os, sys
import oss2
#输入AccessKeyId和AccessKeySecret
auth = oss2.Auth('', '')
#输入Endpoint和Bucket名
bucket = oss2.Bucket(auth, '', '')
#本地文件路径
filePath = sys.argv[1]
#传到OSS上的名称
fileName = filePath.split("/")[-1]
#上传进度条
def percentage(consumed_bytes, total_bytes):
if total_bytes:
rate = int(100 * (float(consumed_bytes) / float(total_bytes)))
print('\r{0}% '.format(rate), end='')
sys.stdout.flush()
#上传文件
bucket.put_object(fileName, filePath, progress_callback=percentage)
print('\rUpload to OSS Success!')
使用方法：将上述代码保存为 upload.py，并上传到服务器/usr/local/bin下，执行如下命令可开始上传文件到OSS：
# python /usr/local/bin/upload.py yangfannie.tar.gz /cache1/backup/yangfannie.com_3.tar.gz
提示Upload to OSS Success!即上传成功
在OSS的Object界面就可以看到刚上传的文件了
0x03 定时备份
这边用shell写的7天循环备份脚本
#!/bin/bash
test -f /etc/profile && . /etc/profile >/dev/null 2>&1
#获取脚本所在的目录
baseDir=$(cd $(dirname $0) && pwd)
#获取zip版本，如果没有则安装
zip --version >/dev/null || yum install -y zip
#获取下面的命令执行的位置
ZIP=$(which zip)
PYTHON=$(which python)
MYSQLDUMP=$(which mysqldump)
#获取星期几
TODAY=`date +%u`
# OSS上传文件函数
uploadToOSS()
{
$PYTHON $baseDir/upload.py $1
}
#7天循环备份DB脚本
backupDB()
{
domain=$1
dbname=$2
mysqluser=$3
mysqlpd=$4
back_path=$5
test -d $back_path || (mkdir -p $back_path || echo "$back_path not found!" && exit 2)
cd $back_path
$MYSQLDUMP -u$mysqluser -p$mysqlpd $dbname --skip-lock-tables --default-character-set=binary >$back_path/$domain\_db_$TODAY\.sql
test -f $back_path/$domain\_db_$TODAY\.sql || (echo "MysqlDump failed!" && exit 2)
#ZIP压缩，密码为12345678，密码可自行修改
$ZIP -P12345678 -m $back_path/$domain\_db_$TODAY\.zip $domain\_db_$TODAY\.sql && \
#上传到OSS
uploadToOSS $back_path/$domain\_db_$TODAY\.zip
}
#7天循环备份网站脚本
backupFile()
{
domain=$1
site_path=$2
back_path=$3
test -d $site_path || (echo "$site_path not found!" && exit 2)
test -d $back_path || (mkdir -p $back_path || echo "$back_path not found!" && exit 2)
test -f $back_path/$domain\_$TODAY\.zip && rm -f $back_path/$domain\_$TODAY\.zip
$ZIP -P1234qaz! -9r $back_path/$domain\_$TODAY\.zip $site_path && \
uploadToOSS $back_path/$domain\_$TODAY\.zip
}
while [ $1 ]; do
case $1 in
'--db' | 'db' )
backupDB $2 $3 $4 $5 $6
exit
;;
'--site' | 'site' )
backupFile $2 $3 $4
exit
;;
esac
done
执行命令：
赋予脚本执行权限
# chmod +x /usr/local/bin/backup.sh
备份DB并上传OSS(参数依次为：db、域名、数据库名称、数据库用户名、对应密码、备份路径)
# /usr/local/bin/backup.sh db yangfannie.com yangfannie root 12345678 /cache1/backup
备份网站并上传OSS（参数依次为：site、域名、网站根目录、备份路径）
# /usr/local/bin/backup.sh site yangfannie.com /home/www/yangfannie.com/ /cache1/backup/
最后把命令加到排程去定时执行即可
0 4 * * * /usr/local/bin/backup.sh site yangfannie.com /home/www/yangfannie.com/ /cache1/backup/ >/dev/null 2>&1
0 5 * * * /usr/local/bin/backup.sh db yangfannie.com yangfannie root 12345678 /cache1/backup >/dev/null 2>&1
0x04 Q&A
- ErrorCode: AccessDenied ErrorMessage: You have no right to access this object because of bucket acl.
原因：子用户/临时用户没有访问Object的权限
解决办法：辨别密钥是主用户、子用户还是临时用户的。需要用主用户的AccessKeyID。更多的权限问题请参考->OSS 权限问题及排查
临时的用户的密钥的AccessKeyID，以STS开头比较好辨认，如“STS.MpsSonrqGM8bGjR6CRKNMoHXe”。
主用户的密钥，需要到控制台 查看AccessKeyID是否存在，如果存在说明是主用户；如果不存在，该用户是子用户.
子用户的秘钥在 访问控制 > 用户管理 > 管理 > 用户详情 > 用户AccessKey，查看子用户的AccessKeyID，并找到对应的子用户。
博客地址：http://yangfannie.com