服务器迁移及docker部署

背景

这段时间负责公司运维工作,多个私有云服务器快到期了,因此线上服务和数据需要迁移备份,但是如果在同一台机器上部署多个实例难免有端口冲突,为了做到相互隔离和维护方便,docker可能是最佳选择,于是开始了我的迁移之旅:

备份

服务器迁移过程中最重要的是数据,为了确保数据不丢失,最好是晚上停机备份

# redis:拷贝rdb文件和conf配置文件
# mysql全量备份
mysqldump --all-databases -uroot -p > mysql_backup.sql
# mysql容器备份,配置文件:/etc/mysql/mysql.conf.d/mysqld.cnf
docker exec -it id(container) mysqldump --all-databases -uroot -p > mysql_backup.sql
# 导出单个库(如果在db_name 前加--databases ,最终在xxx.sql里面会有create database db_name;和use db_name;语句)
docker exec -it id(container) mysqldump -uroot -p db_name > mysql_backup.sql
# mongo备份整库到指定文件
mongodump --authenticationDatabase=admin -u admin -p '123' -d xc_log  --archive=./xc_log.archive
# 数据量大时可使用gzip压缩
mongodump --authenticationDatabase=admin -u admin -p '123' -d xc_log --port 27017 -o ./mongo_back/ --gzip
# mongodb容器导出数据
docker exec mongo -c 'exec mongodump -uadmin -p"123456" --authenticationDatabase=admin -d xc_log --archive' > ./xc_log.archive

mongodump命令详解

备份文件传输,可使用scp命令和xftp软件,推荐使用rsync同步整个项目目录

# 将backup文件夹传送到远程的目录,可列出多个,回车后需要输入密码 
scp -r backup root@ip:/workspace/shlg
# 传送文件
scp mysql_backup.sql mysqld.conf root@ip:/workspace/shlg

部署

服务器环境配置,如 git,nginx等,这里不多讲

docker安装

安装过程请自行搜索:Ubuntu安装docker

创建自定义网络(虚拟网桥),这样容器可以与同一网络中的其他容器通信,

# 默认为 bridge 模式
docker network create tongji_net
# 打印所有网络
docker network ls
# 查看网络信息
docker network inspect tongji_net

关于network的更多解释见 链接

数据库

redis

如有备份文件,请把rdb文件拷贝至data目录下

# 拉取合适的版本
docker pull redis:5.0-alpine
# 生成容器
docker run -itd --name shlg_redis -v /workspace/shlg/redis/data:/data -v /workspace/shlg/redis/redis.conf:/etc/redis/redis.conf --network tongji_net --ip 172.18.0.25 --restart=always redis:5.0-alpine

配置文件需改为如下设置

# 关闭守护进程,否则起不来
daemonize no
# 生产上可不用修改,默认为127.0.0.1,仅限本机访问
bind 0.0.0.0

mysql

如需设置时区请加上 -e TZ="Asia/Shanghai"

# --name 容器名称
# -p 端口映射
# -v 目录挂载
# -e 设置root密码等
# --network 绑定网络
# --ip 绑定ip
docker run -d --name shlg_mysql -p 3406:3306 -v /workspace/shlg/mysql/data:/var/lib/mysql -v /workspace/shlg/mysql/my.cnf:/etc/my.cnf -e MYSQL_ROOT_PASSWORD='123456' --network tongji_net --ip 172.18.0.24 mysql:5.7.31

数据恢复

docker exec -it id(container) mysql -uroot -p"123456" < ./mysql_backup.sql
# 数据库实例恢复单数据库
mysql -uroot -p qd_xc_v3 < ./qd_xc_v3.sql
# 数据库实例恢复所有数据库
mysql -uroot -p < ./mysql_backup.sql

用户角色配置

# 5.7之前的版本
grant all privileges on *.* to 'test'@'172.18.0.%' identified by 'password' with grant option;
# 如果想配置某个数据库的权限,改成
grant all privileges on database_name.* to 'test'@'172.18.0.%' identified by 'password' with grant option;
flush privileges;
show grants for 'test'@'127.0.0.1';

# 8.0之后的版本
CREATE USER 'test'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON *.* TO 'test'@'%' WITH GRANT OPTION;
FLUSH PRIVILEGES;
# 撤销权限
revoke shutdown on *.* from 'user'@'%';

mongodb

docker run -itd --name shlg_mongodb -v /workspace/shlg/mongodb/data:/data/db --network tongji_net --ip 172.18.0.26 mongo:4.0 

数据恢复

# 此命令暂未生效
docker exec -i shlg_mongodb mongorestore -u admin -p "123" --authenticationDatabase admin -d xc_log --gzip < /workspace/shlg/mongodb/xc_log
# 有效
docker exec -i shlg_mongodb sh -c 'exec mongorestore -u "admin" -p "123" --authenticationDatabase admin --archive' < /workspace/shlg/xc_log.archive

可以直接进入容器内部,无需密码,设置用户角色

docker exec -it shlg_mongodb mongo
use admin
db.createUser({ user:'admin',pwd:'mongo@123',roles:[ { role:'root', db: 'admin'} ]})
use xc_log
db.createUser({ user:'shlg',pwd:'123456',roles:[ { role:'dbOwner', db: 'xc_log'} ]})

然后在/etc/mongod.conf文件的 security 下加上下面的代码,重启服务即可生效

security:
  authorization: enabled

mongorestore命令

node服务

这里有多个node服务:exports、log、join、xiaochuang_3.0,shared是公共字典,将它们部署到一个容器内,需要打包成镜像,再根据镜像生成容器,在项目同级目录下新建Dockerfile文件,内容如下:

FROM node:10.24-alpine
ENV TZ=Asia/Shanghai
RUN apk update && apk add tzdata && echo "${TZ}" > /etc/timezone && ln -sf /usr/share/zoneinfo/${TZ} /etc/localtime && rm /var/cache/apk/*
COPY exports /workspace/exports
COPY log /workspace/log
COPY join /workspace/join
COPY xiaochuang_3.0 /workspace/xiaochuang_3.0
COPY shared /workspace/shared
COPY script.sh /workspace/script.sh
ENTRYPOINT ["./workspace/script.sh"]

注意:如果系统的文件存储在项目所在目录下且存的是绝对地址的话,容器内的项目根目录必须保持和原系统一致,否则会找不到文件。

配置容器内项目启动脚本,当前目录新建 script.sh 内容如下:

#!/bin/sh
cd /workspace/log && npm run start-prod
cd /workspace/exports && npm run start-prod
cd /workspace/join && npm run start-prod
cd /workspace/xiaochuang && npm run start-prod

给当前文件新增可执行权限

chmod 755 script.sh

在项目上一级目录新建init.sh,名字自定义,内容如下:

# 删除旧镜像
docker rmi shlg_node:old
# 标记新镜像为旧镜像
docker tag shlg_node:latest shlg_node:old
docker rmi shlg_node:latest
# 根据该目录下的Dockerfile打包镜像,如果打包过程报错提示包无法下载请加上 --network=host
docker build -t shlg_node:latest /workspace/shlg/workspace/ --network=host
# 生成新的容器
docker rm -f shlg_node && docker run -d --name shlg_node -v /workspace/shlg/workspace/xiaochuang_3.0:/workspace/xiaochuang -v /workspace/shlg/workspace/exports:/workspace/exports -v /workspace/shlg/workspace/log:/workspace/log -v /workspace/shlg/workspace/join:/workspace/join -v /workspace/shlg/workspace/shared:/workspace/shared -v /workspace/shlg/workspace/logs:/root/logs --network tongji_net --ip 172.18.0.52 shlg_node:latest
# 查看最新20条并跟踪启动日志
docker logs --tail=20 -f shlg_node

如果遇到容器无法启动的情况,可能是因为docker容器运行必须有一个前台进程,如果没有前台进程执行,容器认为空闲,就会自行退出。xiaochuang_3.0是项目主体,所以得去掉package.json 中启动命令start-prod里的 --daemon选项。

如果后端项目要连接宿主机的数据库,请把连接信息中的host改为该容器的网关ip,可使用docker inspect container查看
Gateway设置,即为虚拟网卡ip

确保路径映射和ip无误后最后运行脚本:sh init.sh,稍等几分钟,中途没有报错的话,容器自动运行,最后大功告成 ~_~

你可能感兴趣的:(服务器迁移及docker部署)