rsync配置及使用

用户-防火墙-外网交换机(通讯)-负载均衡-web集群-内网交换机-后端设备

前端运维需要负责的

mysql/oracle database Server ---缓存存储Server--NFS存储Server--Rsync Backup Server

后端运维人员需要负责的(DBA 后端运维)

2.虚拟软件网络配置

要求：当虚拟机无法上网的时候，知道如何排错(排错能力)

3.虚拟主机系统的优化

####1.防火墙必须关闭

####2.selinux关闭

####3./tmp目录权限1777,不能改变

4.虚拟主机的使用

####1.如何制作快照(vm hyper-v 微软虚拟软件)

####2.如何进行克隆(1.清空 2删除---CentoOS6的克隆)

#备份服务器讲解

####什么是Rsync软件

Rsync是一款开源的、快速的、多功能的、可实现全量级增量的本地或远程数据同步备份的优秀工具

官方文档：

https://download.samba.org/pub/rsync/rsync.html

全量级增量

cp mv scp ------全量复制

rsync ------增量复制

#Rsync 简介

提示信息：

man rsync 查看客户端

man rsyncd.conf 查看服务端配置

Rsync Remote synchronization

Rsync 具有可使用本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，

rsync 可以替换的命令:(1vs4)

scp cp ls rm 

```

[root@backup ~]# rsync /etc/hosts /opt/

[root@backup ~]# ls /opt/hosts 

/opt/hosts

[root@backup ~]# ls -l /opt/hosts 

-rw-r--r-- 1 root root 361 Oct  2 23:05 /opt/hosts

[root@backup ~]# cp /etc/hosts /mnt/

[root@backup ~]# ls -l /mnt/hosts 

-rw-r--r-- 1 root root 361 Oct  2 23:05 /mnt/hosts

[root@backup ~]#

#类似cp命令 相当于复制

-r --recursive recurse into directories

#递归复制目录

#cp -r 也是指递归的复制目录

[root@backup ~]# ls /mnt/

etc  hosts

[root@backup ~]# rsync -r /etc /mnt/

#scp 命令 远程复制

scp -rp /etc/hosts 10.0.0.31:/tmp

#scp -r 递归复制 scp会根据树结构进行遍历

#scp -p 保存修改时间、访问时间、状态时间 从原文件

[root@backup mnt]# scp -rp /etc/hosts 10.0.0.31:/mnt

The authenticity of host '10.0.0.31 (10.0.0.31)' can't be established.

RSA key fingerprint is 4b:dd:da:2e:b2:a0:6e:86:4a:dc:05:46:1e:3a:fc:95.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added '10.0.0.31' (RSA) to the list of known hosts.

rootreverse mapping checking getaddrinfo for bogon [10.0.0.31] failed - POSSIBLE BREAK-IN ATTEMPT!

[email protected]'s password: 

hosts                      100%  361     0.4KB/s   00:00  

NFS Server上已存在了这个文件

[root@nfs01 mnt]# ls

hosts

[root@backup mnt]# rsync -rp /etc/hosts 10.0.0.31:/opt

reverse mapping checking getaddrinfo for bogon [10.0.0.31] failed - POSSIBLE BREAK-IN ATTEMPT!

[email protected]'s password: 

[root@nfs01 opt]# ls

hosts  rh

[root@backup mnt]# rsync /etc/hosts

-rw-r--r--         361 2017/10/02 21:31:56 hosts

[root@backup mnt]# ls /etc/hosts

/etc/hosts

rm -f /tmp/*  #删除文件

mkdir /tmp/{1..10}.txt

mkdir /null -p

ls /null 

rsync -r --delete /null/ /tmp/

[root@backup mnt]# mkdir /null 

[root@backup mnt]# rsync -r --delete /null/ /tmp/

[root@backup mnt]# ls /tmp/

```

rsync 工作场景

1定时备份+rsync 

对于网站内部人员的数据定时备份

2实时备份+rsync 

对于网站外部用户创建的数据，实时备份

全网备份方案

借助cron+rsync 把所有客户服务器数据同步到备份服务器

01.针对公司最重要数据备份混乱状况向领导提出全网数据的解决方案

02通过本地打包备份，然后rsync结合inotify应用把全网数据统一备份到一个固定存储服务器然后，在存储服务器上通过脚本检查并报警管理员备份结果

03定期将IDC机房的数据备份到公司的内部服务器防止数据丢失

rsync(1)                                                              rsync(1)

NAME

       rsync — a fast, versatile, remote (and local) file-copying tool

SYNOPSIS

       Local:  rsync [OPTION...] SRC... [DEST]

#本地同步

       Access via remote shell:

       #shell同步

         Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]

         Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

       Access via rsync daemon:

       #rsync 同步

         Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]

               rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

         Push: rsync [OPTION...] SRC... [USER@]HOST::DEST

               rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

#本地同步方式

rsync [OPTION...] SRC... [DEST]

rsync /etc/hosts /mnt/

#通过shell远程方式 远程隧道方式

拉取

         Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]

         推

         Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

         rsync -avz -e "ssh -p 22 " /etc/hosts 172.16.1.31:/backup --利用-e参数实现指定ssh加密隧道传输

语法说明：

1RSync 为同步命令

2[option...] 为同步时的参数选项

3[USER@]HOST 为Rsync 同步的远程连接用户和主机地址，USER表示数据传输到远程服务器上，传输数据用户身份的信息

4SRC为源，即待拷贝的分区、文件、目录等 ，和HOST之间使用冒号连接：

远程服务器资源(拉)

本地服务器资源(推)

拉 get 表示从远端把数据同步到执行命令的本地主机相就目录 

推 put 表示从本地主机执行命令把本地的数据同步到远端主机指定目录下

推的基本操作

rsync /etc/hosts [email protected]:/etc/

rsync -rp /etc [email protected]:/mnt #推送目录里需要使用-rp 

拉的基本操作

rsync root@m01:/etct/hosts /etc    #拉到文件

 rsync -rp  root@m01:/etc /mnt/     #拉取目录

#rsync 守护进行方式

Access via rsync daemon:

#rsync 同步

  Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]

        rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

  Push: rsync [OPTION...] SRC... [USER@]HOST::DEST

        rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

#守护进程的两种部署方式

#1.服务端部署--rsync 

1.查看rsync 是否存在

rpm -qa rsync 

2.安装rsync 

yum install -y rsync 

3.编写配置文件(编写好配置文件，后续配置文件可以按照这个来)

vim /etc/rsyncd.conf

```

创建配置文件 

用户

uid=rsync #用户远端的命令使用rsync访问共享目录

#用户组

use chroot=no

#安全相关

max connections=200

#最大连接数

timeout=300

#超时时间 

pid file=/var/run/rsyncd.pid

#进程对应的进行号文件

lock file=/var/run/rsync.lock

#锁文件

log file=/var/log/rsyncd.log

#日志文件，显示出错信息等 

[back] #模块名称

path=/backup #模块对应的位置 

ignore errors #忽略错误信息

read only=false #是否中读

list=false #是否显示列表

hosts allow =172.16.1.0/24

hosts deny =0.0.0.0/32

auth users=rsync_backup.rsync_oldboy

#设置ip段及用户限制

screts file=/etc/rsync.password

#不存在的用户在进行认证时的密钥文件

```

#pid 文件作用管理服务进程 

1.停止进程更加方便

2.判断服务是否运行正在

4.创建备份目录的管理用户

useradd -s /sbin/nologin -M rsync

5.创建安全认证文件

echo "rsync_backup:oldboy123">/etc/rsync.password

chmod 600 /etc/rsync.password

6.创建备份目录

mkdir -p /backup

chown -R rsync.rsync /backup

7.启动rsync服务

rsync --daemon

#说明：rsync 端口为873(tcp)

#2.客户端部署--web服务推

1.查看rsync 是否存在

rpm -qa rsync 

2.安装rsync 

yum install -y rsync 

3.创建安全认证文件

echo "oldboy123">/etc/rsync.password

chmod 600 /etc/rsync.password

#推送数据

rsync -avz [email protected]::backup/oldboy.txt /mnt

#拉取数据

  rsync -avz /etc [email protected]::backup/

思考：

1.如何实现windows上实现rsync部署

2.rsync 免交换方式，rsync传输数据信息(rsync守护进程模式)

--password-file=/etc/rsync.password

将这里的内容当作密码

```

rsync -avz [email protected]::backup/oldboy.txt /mnt --password-file=/etc/rsync.password

```

rsync参数说明

-v --verbose 显示详细模式输出传输时的信息

-z --compress 传输时压缩以提高传输速率

-a --archive  归档模式，表示以递归 形式传输 文件，并保持 文件所有属性，等于rtopgDl

kill 杀手三人组

kill pid

pkill rsync #(模糊杀手，小心)

killall rsync

vim 复制多行

:19,21copy 21 将第19到21行的内容复制到21行以后

:19,21move 1 将第19到21行的内容移动到第1行之后

rsync服务的扩展功能

1.编写多模块功能配置

a复制多模块

```

[backup]

#模块名称

path=/backup

[nfsbackup]

#模块名称

path=/nfsbackup

```

b重启rsync服务

killall rsync 

rsync --daemon

c创建nfsbackup目录，授权

mkdir -p /nfsbackup

chown -R rsync.rsync /nfsbackup

d.测试连接

rsync -avzP /etc [email protected]::nfsbackup/ --password-file=/etc/rsync.password 

man rsyncd.conf 可以查看rsync的配置文件

graceful

kill -HUP `cat /var/run/rsyncd.pid` #-HUP  平滑删除进程

kill -USR2 `cat /var/run/rsyncd.pid`#-USR2 平滑删除进程

rsync 优点

1.增量备份同步，支持socket(daemon),集中备份

rsync 缺点

1.大量小文件同步时，比对时间较长，有的时候，rsync进程停止

解决方法：a.打包同步b.brdb(文件系统同步复制block块)

2.同步大文件;中断，未完整同步前为隐藏文件，同步完成为普通文件

rsync 排除文件

--exclude=a 

--exclude={a..b}

--exclude=a --exclude=c

--exclude-from=file.txt #文件中包含排除的文件名

Rsync的特性总结（7个特性信息说明）：

01. 支持拷贝普通文件与特殊文件如链接文件，设备等。

02. 可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。

    #tar zcvf backup_1.tar.gz  /opt/data  -exclude=oldboy    

    说明：在打包/opt/data时就排除了oldboy命名的目录和文件。

03. 可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变-p。

04. 可实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar -N）。

    # 将备份/home 目录自 2008-01-29 以来修改过的文件

    # tar -N 2008-01-29 -zcvf /backups/inc-backup_$(date +%F).tar.gz /home

    # 将备份 /home 目录昨天以来修改过的文件

    # tar -N $(date -d yesterday "+%F") -zcvf /backups/inc-backup_$(date +%F).tar.gz /home

# 添加文件到已经打包的文件

    # tar -rf all.tar *.gif

    说明：这条命令是将所有.gif的文件增加到all.tar的包里面去。-r是表示增加文件的意思。

05. 可以使用rcp,rsh,ssh等方式来配合进行隧道加密传输文件（rsync本身不对数据加密）

06. 可以通过socket(进程方式)传输文件和数据（服务端和客户端）*****。重点掌握

07. 支持匿名的或认证（无需系统用户）的进程模式传输，可实现方便安全的进行数据备份及镜像。