如何定时备份数据库并上传七牛云

前言：
这篇文章主要记录自己在备份数据库文件中踩的坑和解决办法。

服务器数据库备份文件之后上传到七牛云

1. 备份数据库文件

在服务器根目录下 创建 /backup/qiniu/.backup.sh

    #!/bin/bash
    # vuemall 数据库名称 
    # blog_runner  vuemall 的管理用户
    # admin        vuemall的用户密码
    
    # 设定 文件夹
    backUpFolder="/home/Garen/work/dbbackup/vuemall"  //定时保存打包数据库的文件 的位置
     date_now=`date +%Y_%m_%d_%H%M`
    backFileName=vuemall_$date_now
    
    # 进入到指定文件夹 ，创建临时文件夹 
    cd $backUpFolder
    mkdir -p $backFileName
    
    mongodump -h 127.0.0.1:27017 -d vuemall -u blog_runner -p admin -o $backFileName
    
    #打包备份数据库 
    tar zcvf $backFileName.tar.gz $backFileName
    
    #  移除 临时文件夹
    rm -rf $backFileName
    
   
复制代码

2. 创建七牛的配置文件用于生成token

   文件上传

   1、 根据AccessKey + SecretKey （可在个人中心=》秘钥管理查看） + bucket（存储空间名称），生成token；
   2、 使用图片源（文件流/文件地址）和token提交信息到七牛存储图片；

   上传途径

   1、服务器端上传：分为本地文件上传、字节数组上传； 2、 客户端上传：Base64模式上传、Blob模式上传；

   服务端nodjs 上传

   在路径为 /backup/qiniu/下执行 npm init 创建==qiniu_config.js==

   npm i qiniu  //引入七牛 SDK
   复制代码

   下面是qiniu_config.js的内容

       'use strict';
   
       import * as qiniu from 'qiniu'
       
       export const getToken = (bucket) => {
               var accessKey = '七牛云accesskey';
               var secretKey = '七牛云secretKey;
               var bucket = bucket
               var mac = new qiniu.auth.digest.Mac(accessKey, secretKey);
       
               var options = {
                       scope: bucket
               }
       
               var putPolicy = new qiniu.rs.PutPolicy(options);
       
               return  putPolicy.uploadToken(mac);
       }
       
   复制代码

   创建upload.js

       'use strict';
   
       import * as qiniu from 'qiniu'
       
       import  {getToken} from  './qiniu_config.js'
       
       const uploadToken = getToken('blog_node') // blog_node 是七牛云后台创建的仓库名称
       
       console.log(uploadToken)
       
       const config = new qiniu.conf.Config();
       config.zone = qiniu.zone.Zone_z0; // 空间对应的机房
       const formUploader = new qiniu.form_up.FormUploader(config);
       const putExtra = new qiniu.form_up.PutExtra();
       
       
       const parts  = process.env.NODE_ENV.split('@')
       const file = parts[1] + '.tar.gz'
       const filePath = parts[0] + '/' + file
       
       const key=file;  //上传到服务器的名称
       const localFile = filePath; // 本地文件路径
       formUploader.putFile(uploadToken, key, localFile, putExtra, function (respErr,
         respBody, respInfo) {
         if (respErr) {
           throw respErr;
         }
         if (respInfo.statusCode == 200) {
           console.log(' 上传成功')
           console.log(respBody);
         } else {
           console.log(respInfo.statusCode);
           console.log(respBody);
         }
       });
   
   复制代码

   其中，对应的机房如下：
   1、华东 qiniu.zone.Zone_z01
   2、华北 qiniu.zone.Zone_z1
   3、华南 qiniu.zone.Zone_z2
   4、北美 qiniu.zone.Zone_na0

由于使用node 执行 upload.js 会报出 错误

    SyntaxError: Unexpected token import
复制代码

找到原因是，目前node只支持部分ES6的语法，有些ES6语法还不支持，而import就是其中之一。
解决这个问题，可以找一些替代的方案

• 使用Babel-cli插件
• 升级node 8.5 使用experimental-modules 参数。 切记要求所有文件名后缀都修改为mjs

  node  –experimental-modules index.mjs
  复制代码

• 安装 babel-regiser

    npm i  babel-register babel-preset-env --save-dev
  复制代码

  创建.babelrc

  {
    "presets": [
        ["env", {
          "targets": {
            "node": "current"
          }
        }]
      ]
   }
  复制代码

新建入口文件 将原来的入口文件 require 进来

   require('babel-register')({
       presets: [ 'env' ]
   })

   // Import the rest of our application.
   module.exports = require('./upload.js')
复制代码

本文中是使用的 安装 babel-resiger 方法 在目录下创建start.js

因此在.backup.sh脚本中 最后一行加上

    # 启动 七牛云 上传脚本
    NODE_ENV=$backUpFolder@$backFileName node /backup/qiniu/start.js 
复制代码

执行脚本 .backup.sh 就 可以 在七牛云后台看到 已经备份好的数据库文件

启动 定时任务

我们想要设定一个时间 自动 去 执行备份并上传到 七牛云 使用 crontab 以下 是crontab的用法。 一般在centos 中是自动安装好的。 详细配置大家可参考 定时运行脚本配置

1. 安装crontab

yum install crontabs
复制代码

2. 开启服务

service crond start  //启动
service crond stop   //关闭
service crond restart   // 重启
service crond reload    //重载
service crond status   //查看状态
ntsysv   //查看crontab服务是否已设置为开机启动
tail -f /var/log/cron  // 查询定时任务 
复制代码

3. 设置执行脚本
   编辑 vim /etc/crontab ,默认形式如下

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name  command to be executed
                                     
复制代码

设置每天的 02:00 以root用户执行

 0 2 *  *  * root  sh  /backup/qiniu/.back.sh                    
复制代码

到这里定时启动脚本执行数据库备份 并将其上传至七牛云已经配置成功啦！