2019-08-12 rsync/守护进程方式部署

Linux运维学习 Day30

综合架构开场章节

一.系统模板主机克隆说明

1.主机克隆准备工作
  虚拟主机网络配置   添加了一块内网网卡
  虚拟主机系统优化

2.主机克隆过程说明
  链接克隆: 利用模板机做为克隆主机, 生成链接克隆主机
            节省克隆之后的资源  占用少 
            克隆主机效率较高
            克隆主机 依赖 模板主机

  完整克隆: 利用模板机做为克隆主机, 生成完整克隆主机   企业常用
            浪费克隆之后的资源  占用多
            克隆主机效率较低
            克隆主机 与 模板主机相互独立

克隆后主机初始化脚本:
cat /server/scripts/init.sh 
#!/bin/bash

Host_name=$1
Host_ip=$2

# 修改主机名称
hostnamectl set-hostname $Host_name
# 修改网卡地址
sed -ri "s#200#$Host_ip#g;/UUID|HWADDR/d" /etc/sysconfig/network-scripts/ifcfg-eth[01]
# 重启网络服务
sleep 2
systemctl restart network

二.备份服务概念介绍

1.对网站服务器数据进行备份存储  (恢复丢失数据  恢复误修改数据)
2.对网站服务器数据进行对比分析  
3.对网站服务器数据进行统一管理  web服务集群 web日志文件

(1)备份服务器应该有几台合适:
同一机房要有多个备份服务器
不同机房要有多个备份服务器
不同地理位置有多个备份服务器
PS: 中石油备份数据架构解决方案---两地三中心

(2)备份服务器备份数据, 备份的是什么数据
① 内部人员产生数据:  脚本文件 代码信息 配置文件(ansible) 数据库文件 日志文件  --- 定时任务备份
② 外部人员产生数据:  图片信息 附件信息 视频信息                               --- 实时数据备份

三.备份服务实现备份数据方法

rsync软件:  a fast, versatile, remote (and local) file-copying tool
            快速    多功能     远程(本地)文件备份工具
官网: https://rsync.samba.org/

rsync软件实现快速备份:
全量备份数据: 将所有数据进行完整备份传输  备份传输数据效率较低
增量备份数据: 将变化数据进行备份传输      备份传输数据效率较高
增量备份数据原理:
1. 比较数据属性信息: oldboy_dir : oldboy.txt(修改) oldgirl.txt        ---->   备份服务器: /backup  oldboy.txt oldgirl.txt 
   默认rsync增量传输数据利用属性信息做比较
2. 比较数据指纹信息: oldboy_dir : oldboy.t xt(cba)  oldgirl.txt(abcd)  ---->   备份服务器: oldboy.txt(abc)  oldgirl.txt(abcd)
   使用rsync -c (-c, --checksum              skip based on checksum, not mod-time & size)  基于指纹信息判断文件的变化


rsync软件使用方式:
方式一: 利用rsync软件是本地备份
Local:  rsync [OPTION...] SRC... [DEST]
[root@backup ~]# cp /etc/hosts /tmp/
[root@backup ~]# rsync /etc/hosts /tmp/hosts.bak
[root@backup ~]# ll /tmp/hosts*
-rw-r--r-- 1 root root 337 8月  12 17:09 /tmp/hosts
-rw-r--r-- 1 root root 337 8月  12 17:09 /tmp/hosts.bak

方式二: 利用rsync软件实现远程备份
Access via remote shell:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
[USER@]  --- 登录远程主机用户信息  默认不指定用户使用当前登录系统用户进行连接
HOST     --- 远程主机IP地址信息或者主机名称信息
SRC      --- 远程主机上要备份传输到本地主机数据信息
DEST     --- 将数据保存本地主机路径信息

Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
[USER@]  --- 登录远程主机用户信息  默认不指定用户使用当前登录系统用户进行连接
HOST     --- 远程主机IP地址信息或者主机名称信息
SRC      --- 本地主机上要备份传输到远程主机数据信息
DEST     --- 将数据保存远程主机路径信息

远程备份文件: 本地数据 ---> 远程主机
scp /etc/hosts 172.16.1.31:/tmp
rsync /etc/hosts 172.16.1.31:/tmp

远程备份目录: 本地数据 ---> 远程主机
scp -rp /oldboy 172.16.1.31:/tmp/
rsync -vrp /oldboy 172.16.1.31:/tmp/    全量备份数据

rsync传输目录说明:
传输目录后面有斜线 /oldboy/   表示将目录下面的数据内容进行传输备份
传输目录后面无斜线 /oldboy    表示将目录本身以及下面的数据内容都进行传输备份

四.rsync守护进程方式部署流程:

服务端部署过程:
第一个里程: 确认软件是否安装/安装软件程序
rpm -qa rsync
yum install -y rsync 

第二个里程: 编写配置文件 (考试题)
vi /etc/rsyncd.conf    --- 学习配置 man rsyncd.conf
uid = rsync            --- 管理备份目录的属主信息
gid = rsync            --- 管理备份目录的属组信息
port = 873             --- 指定rsync守护进程服务端口信息 默认端口为 873
#fake super = yes      --- 伪装成超级用户
use chroot = no        --- 和远程传输安全有关参数
max connections = 200  --- 设置最大连接数                        
timeout = 300          --- 连接超时时间(默认秒)  没有数据传输的时间     
pid file = /var/run/rsyncd.pid     --- 记录服务进程号码文件==pid文件   掌握
                                       判断服务是否开启或关闭 --- shell
lock file = /var/run/rsync.lock    --- 当max connection达到上限, 利用锁文件阻止新的连接建立
log file = /var/log/rsyncd.log     --- 程序日志文件(排错)
ignore errors                      --- 忽略错误信息 提升传输数据效率
read only = false                  --- 设置备份目录权限为可读可写
list = false                      --- 是否显示模块表
hosts allow = 172.16.1.0/24        --- 设置访问策略 白名单
hosts deny = 0.0.0.0/32            --- 设置访问策略 黑名单
auth users = rsync_backup          --- 认证用户信息
secrets file = /etc/rsync.password --- 认证用户密码文件 用户信息:密码信息
[backup]                           --- 模块信息
comment = "backup dir by oldboy"   --- 模块注释说明信息
path = /backup/                    --- 指定备份目录

第三个里程: 创建rsync服务虚拟用户
useradd -M -s /sbin/nologin rsync 

第四个里程: 创建密码文件 修改文件权限
echo rsync_backup:oldboy123 >/etc/rsync.password
echo oldboy:oldboy123 >>/etc/rsync.password         --- 密码文件中添加多个认证用户
chmod 600 /etc/rsync.password 

第五个里程: 创建备份目录  修改目录属主属组信息
mkdir /backup
chown rsync.rsync /backup

第六个里程: 启动或重启服务
systemctl start rsyncd
systemctl restart rsyncd 
systemctl enable rsyncd


客户端部署过程:
第一个里程: 测试服务端部署过程
rsync -avz /oldboy [email protected]::backup