超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍

前言

本文主要介绍容灾相关基础知识,包括容灾的定义、作用,并描述容灾的衡量标准,以及实现容灾需要用到的相关产品。主要介绍华为灾备产品BCManager,并详细讲解BCManager实现灾备时的相关知识。

灾备的定义

灾备是指利用科学的技术手段和方法,提前建立系统化的数据应急方式,以应对突发事件的发生。
灾备技术:在故障或者灾难发生的时候,用于保证业务不中断,或者业务不丢失的技术。
灾备包括容灾系统和备份系统。

灾备的作用

数据中心面临的威胁

现在是IT的世界,我们需要不中断的Internet接入,不中断的IT服务,但是我们的数据中心却面临着各种威胁。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第1张图片

没有灾备会带来的问题

一旦数据中心的数据遭到破坏,随之而来的是很多棘手的问题。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第2张图片

数据保护需求

数据爆炸式增长
业务连续性需求
数据安全性需求
企业和数据
企业的业务运行越来越依赖于所存储的数据信息,且企业中关键数据迅速增长。
应用系统和数据
越来越多的应用系统不断上线,对各种数据的需求持续增加。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第3张图片

灾备系统可以提供全面数据保护

容灾:针对业务
备份:针对数据
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第4张图片

IT行业中的备份

在当今IT行业中,数据量激急剧增长,并且新的法规不断出台,对备份时间、恢复时间目标(RTO)以及恢复点目标(RPO)方面要满足更加严格的服务级别协议要求。
在IT行业中备份主要指:

  • 为了防止数据丢失、损坏等意外,将存储的数据,复制到其他存储设备上。
  • 备份的本质,就是存储数据的“复制”,目的是意外发生后的数据恢复。
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第5张图片

IT行业中的容灾

在IT行业中,容灾是指在相隔较远的异地,建设两套或多套云计算系统,互相之间可以进行健康状态检查功能切换,当一处系统因意外(如火灾、地震等)停止工作时,整个应用系统可以切换到另一处,使得该系统功能可以继续正常工作。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第6张图片

备份的应用场景

存储层面

配置备份的五大部分:

  • 备份子客户端
    • 备份任务执行载体
  • 存储策略
    • 备份介质
    • 重删策略
    • 保留策略
    • 写流数
  • 备份内容
    • 所要备份的内容
    • 过滤不备份的内容
  • 备份策略
    • 重删策略
    • 备份类型
    • 备份计划
  • 性能优化
    • 客户端对数据的读流数

云计算层面

云服务器备份服务(Cloud Server Backup Service):为服务器提供整机备份服务,支持基于多云硬盘一致性快照技术的本地备份,以及对备份数据的远程复制,并支持利用备份数据恢复云服务器数据,最大限度保障用户数据的安全性和正确性,确保业务安全。
云硬盘备份服务(Volume Backup Service):基于云硬盘提供备份服务。用户可为云硬盘创建备份,利用备份数据回滚云硬盘,最大限度保障用户数据的安全性和正确性。

容灾的应用场景

  • 本地高可用容灾
    一个数据中心里搭建两套业务系统。
  • 主备容灾
    两个数据中心或者两套系统,一主一备。
  • 双活数据中心
    两个数据中心同时对外提供业务。
  • 两地三中心容灾
    两个城市构建三个数据中心,分别是本地生产中心,本地容灾中心和异地容灾中心。
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第7张图片

灾备的衡量标准

备份类型

  • 完全备份(占用空间非常大)
    • 每天完成备份
    • 易于管理
  • 累积增量式备份(数据恢复依赖上一次完全备份)
    • 每周一天完全备份
    • 本周其余每天备份和完全备份的差异部分
  • 差异增量式备份(占用的空间最小,数据恢复慢)
    • 每周一天完全备份
    • 周其余每天备份和上次备份的差异部分
      超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第8张图片

灾备的主要技术指标

  • 恢复时间目标(RTO)
    当系统不可用的情况下,可以忍受多长时间。
  • 恢复点目标(RPO)
    当系统被恢复时,可以忍受多少数据需要重新建立
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第9张图片

综合标准

RTO/RPO与灾难恢复能力等级关系。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第10张图片

灾备的实现

备份的方式

通过备份软件,将数据写入到备份存储里面。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第11张图片

备份介质

  • 备份介质:
    • 磁盘阵列
    • 磁带库
    • 虚拟带库
    • 光盘塔、光盘库
    • 云存储
  • 一体机:
    • HDP3500E
      超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第12张图片

磁带库

适用于备份数据量不大,时间窗口宽裕,或希望将数据异地离线长期保存的场景。如HPMSL6060、IBM TS3310等。

优势:

  • 单位存储成本较低
  • 可实现数据和读写装置分离,可离线保存
  • 容量扩展性好
  • 出现时间长

劣势:

  • 备份和恢复性能较低
  • 机械故障率高
  • 易受环境影响而失效(强磁、潮湿)
  • 管理成本高(需人为管理)
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第13张图片

磁盘

适用于数据量大,备份窗口相对较小,对备份设备的性能和可靠性要求很高的场合,如数据中心。产品如华为Oceanstor V3系列、18000系列。

优势:

  • 备份和恢复性能高(可以做到磁带性能的十倍以上)
  • 故障率低
  • 管理维护成本低

劣势:

  • 一次性投入高
  • 不能离线保存数据
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第14张图片

虚拟带库

需继承企业原有磁带备份架构和策略,又需要提高备份速度的场景,如华为VTL6900。

优势:

  • 可继承原有磁带存储系统架构
  • 性能较高
  • 存储性能较高
  • 管理方便

劣势:

  • 整体部署成本较高
  • 容量扩展性能较真实磁带库差
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第15张图片

光盘

适用于对速度要求不高,容量不大,不用经常擦写的场景,如教育、档案、图书馆、广电等行业,如SONYPDJ-1080。

优势:

  • 光驱、光盘的价格比较低,具备成本优势
  • 光盘介质保存时间长
  • 对保存环境要求较低

劣势:

  • 读写速度较低
  • 容量较低
  • 通常不可反复擦写
  • 光驱数量有限,支持的并发用户数量也较少
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第16张图片

云存储

适合备份数据量不是很大的业务,如OceanStor 9000、FusionStorage。

优势:

  • 对于终端客户,部署简单
  • 无需管理备份介质,备份系统
  • 投资较小
  • 扩容方便

劣势:

  • 需要有传输到云端的足够带宽
  • 网络传输的成本较高,速度较慢
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第17张图片

设计备份流程

  1. 需求分析及信息搜集
    分析现网情况和客户需求,确定备份目标、数据类型。
  2. 备份及归档策略设计
    根据不同的应用类型及数据量确定备份及归档策略。
  3. 带宽及网络设计
    根据数据量、备份策略及网络状况确定备份所需带宽。
  4. 容量及存储策略设计
    根据备份及存储策略确定后端存储容量及存储策略。
  5. 备份系统迁移设计
    确定迁移第三方备份系统的操作步骤。
  6. 其他特性设计
    确定报表、告警等附加功能配置。

容灾的方式

在不同的层面上,容灾有不同的技术。

  • 基于存储层的容灾
    虚拟化环境下,常见的容灾都是基于存储层的容灾,并不能保证虚拟机不间断运行,但是可以保证生产中心出现故障后,可以让容灾数据中心自动地把虚拟机启动起来,根据虚拟机里面的配置,系统启动完成后,里面的服务配置成自动启动,接替业务的运行。
    优点:相对比较简单,只需要做一些存储层的容灾再加上一些容灾的管理软件即可。
    缺点:做不到特别短的RTO(恢复时间目标)
    目前可以做的是:同步复制,异步复制,双活。

  • 虚拟化层容灾
    VMware公司的FT(容错)技术,一主一备两个虚拟机,两个虚拟机状态实时同步,采用的方式叫内存重放(所有主虚拟机上做的操作,都会被同步到备虚拟机上),一旦检测到主虚拟机上业务出现故障,会自动地切换到备用虚拟机上。
    优点:可以实现秒级之内的业务切换。
    缺点:对虚拟机和网络的要求非常高,并不是所有的虚拟机都可以适用容错技术。

  • 基于阵列层的容灾
    相对比较好做,只需要存储有相应的容灾的licence,并且通过SAN网络或者IP网络将两个存储连接到一起,让存储里面的数据实时同步。如果生产中心出现了问题,可以通过备份的磁盘直接把虚拟机启动起来。

  • 基于SAN网络层的容灾
    虚拟化网关复制或镜像两个技术,可以实现存储的复。
    缺点:无法做到实时的同步,有一个定期的周期去更新。RPO无法做到0,一定会丢失部分数据。

  • 基于主机层容灾
    更偏向于操作系统
    数据库复制

    • Data Guard
    • Oracle GoldenGate
      文件系统复制
    • Rose…
      镜像卷、复制
    • Storage Foundation
    • VVR
  • 双活
    两个存储可以同时读写数据

  • 同步复制
    主存储可以写入数据,备份存储无法写入。数据实时同步。

  • 异步复制
    主存储可以写入数据,备份存储无法写入。数据周期性同步。
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第18张图片

虚拟化网关层、存储层容灾方案总览

  • 本地生产中心
    • 本地高可用方案(虚拟机HA)
    • 主备容灾解决方案(同步复制)
  • 同城容灾中心
    • 同城双活解决方案
    • 主备容灾解决方案(同、异步)
    • 三镜像容灾解决方案
    • 虚拟化网关复制方案
  • 远程容灾中心
    • 主备容灾解决方案(异步)
    • 虚拟化网关复制方案
    • 云容灾解决方案
    • 两地三中心容灾解决方案
      超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第19张图片

华为云计算灾备产品

BCManager简介

BCManager演进历史
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第20张图片
BCManager的作用
OceanStor BCManager是面向企业数据中心存储容灾业务的管理软件,实现容灾、双活、两地三中心等容灾环境的管理,具备多种数据库应用与虚拟化环境的容灾管理功能,简单高效的完成容灾业务配置清晰可视的掌握系统容灾业务的运行情况快速方便的完成数据恢复和测试演练

eBackup详述

eBackup的产品特点

  • 满足海量虚拟机备份场景需求
    • 备份服务器与备份代理各司其职,分布式可扩展结构
    • 虚拟机智能选择,自动保护新增虚拟机,减轻维护工作量
    • 任务负载均衡、故障切换,保障可靠性
  • 备份管理简单易用
    • 提供快速入门说明,简化理解复杂度,轻松上手
    • 提供配置向导,四步完成虚拟机保护配置
    • 备份系统运行状态都可直观的在首页监控
  • 性价比极高的数据保护方案
    • 通过备份数据重复删除、压缩,永久增量备份等技术,降低35%用户备份存储购置成本
    • 支持块级增量备份/恢复,缩减95%备份恢复窗口

eBackup的功能

eBackup基于虚拟机/磁盘快照、CBT(Change Block Tracing)快照比对技术,对虚拟机公有云私有云混合云四种应用场景下的用户数据提供全面的保护。
eBackup支持虚拟化场景下,虚拟化及磁盘数据的备份恢复。

eBackup的角色

  • 备份服务器
  • 备份代理
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第21张图片
    eBackup角色的功能
  • 备份服务器(给管理员看的,用于指令下发的)
    负责备份和恢复等任务的调度和监控,备份存储和生产系统的管理,并直接接受和响应用户要求。
  • 备份代理(真正干活的)
    负责接收备份服务器下发的备份和恢复等任务,与生产系统和备份存储直接交互,以执行任务。

eBackup相关组件间的交互

管理员通过web UI将备份/恢复指令发送给备份服务器,由备份服务器将任务派发给备份代理。
备份代理实时将任务状态任务信息,反馈给备份服务器,再有备份服务器把任务信息反馈给客户(通过更新界面)。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第22张图片

eBackup的网络平面

  • 备份管理平面
    备份服务器对外提供界面的平面,给管理员访问整个备份系统用的。
  • 内部通信平面
    备份服务器跟备份代理之间做任务下发任务交互用的。
  • 生产管理平面
    备份服务器访问生产站点。
  • 存储平面
    备份代理通过存储平面将备份数据写入到备份存储中,也可以通过存储平面直接访问生产存储。
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第23张图片

eBackup的组网方式

LAN-Base

备份数据要通过生产网络、业务网络进行传输。
LAN-Base组网可以应用在任何场景下(虚拟化场景,私有云场景,本地存储,集中存储,IPSAN,NAS)
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第24张图片

LAN-Free

备份流量不占用业务网络。
生产存储和eBackup服务器直接走存储网络通信(FC网络,FusionStorage环境)
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第25张图片

备份原理

永远增量备份

与FusionStorage备份方式类似,把数据全部切成小块,切块之后再记录一个类似地图的东西,地图会记录这一次备份所占用的数据块是哪些,备份的时候只需要根据这个地图顺序的读取这些数据块即可。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第26张图片

无合成增量恢复

不需要进行数据的合成,只需要按照地图去读取数据就行了,所以恢复速度较快。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第27张图片

eBackup使用的技术

CBT

块追踪技术
第一次备份的时候完全备份,然后此时CBT开始工作,会在内存里面建立一个内存变更位图,把每一个数据块对应到内存的一个二进制位上。数据变更之后,在对应的二进制位上置一,后续备份的时候,由于我们知道只有那些位置出现了变化,所以只需要更新对应位置即可。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第28张图片
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第29张图片

快照对比

每一次备份之后产生一个快照,通过多次快照的对比,对比出现哪些数据块不同,然后只将不同的数据备份下来。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第30张图片
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第31张图片
两种备份方式适用场景
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第32张图片
两种备份方式对比

  • CBT
    在生产端不保留快照,对其存储空间占用较少。
    eBackup备份管理系统获取数据变更信息速率较快。
  • 快照对比
    在生产端保留快照,对其存储空间占用较大。
    eBackup备份管理系统获取数据变更信息速率较慢。

重复数据删除

会将所有的备份数据进行切片,并计算哈希值,备份的时候如果有相同的数据,只保留一份,可以降低用户备份存储的购置成本。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第33张图片

文件细粒度恢复

当用户只想获取备份里面某一个文件时,就需要用到文件细粒度恢复技术。
将备份的数据做成一个虚拟的磁盘,然后将虚拟磁盘挂载给虚拟机,让用户可以从虚拟机里面读取磁盘的文件,然后复制出来,复制用户所需要的文件。(在操作系统可以看到多了一块虚拟磁盘,是只读的)
现版本的eBackup无法使用
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第34张图片

远程备份

可以把生产站点里面的数据备份到远程的备份站点中,备份的时候所传输的数据都是压缩和加密的。
不支持备份数据的断点续传和重复数据删除。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第35张图片

两级备份

本地会有一个存储保存数据,远程也会有一个存储来保存数据。
不支持重复数据的删除。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第36张图片

备份服务器HA

主备切换
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第37张图片

任务负载均衡与故障切换

备份代理故障,会触发任务负载均衡
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第38张图片

eReplication详述

eReplication简介

eReplication是一款基于华为存储复制、快照、双活、克隆以及FusionSphere主机复制等特性,保证上层应用数据一致性,针对华为典型容灾解决方案,提供可视化、流程化、简单、快捷的操作与监控平台的灾备管理软件。

  • 本地保护
  • 本地高可用
  • 主备容灾
  • 双活数据中心
  • 两地三中心容灾

超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第39张图片

eReplication产品定位

eReplication定位为企业数据中心容灾业务管理软件,通过良好的应用感知能力,集合华为存储增值特性,确保容灾过程中应用数据的业务一致性,简单高效地完成容灾业务配置,清晰可视地掌握系统容灾业务的运行情况,快速方便地完成数据恢复和测试。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第40张图片

组网方式

存储层复制

使用存储设备里的特性来完成数据的复制,需要将两个存储连接到一起,可以使用IPSAN或FCSAN,然后再通过容灾管理服务器来进行业务的感知切换。
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第41张图片
应用场景

  • 生产站点和容灾站点存储设备同为华为存储,并且要有相应的容灾licence
  • 保护最小单位为LUN
  • 实现同步远程复制
  • 被保护的为私有云场景下的虚拟机

主机层复制

虚拟冗余网关(VRG)
超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第42张图片
应用场景

  • 无法使用存储层复制
  • 保护的最小单位为虚拟机
  • 被保护的为服务器虚拟化场景中的虚拟机

容灾用到的相关技术

IO Mirror

IO Mirror,是指通过虚拟化平台主机层进行IO捕获与复制,实现数据的远程复制和容灾管理,实现容灾保护策略制定、容灾计划制定、容灾切换(包括故障切换和计划切换)及有计划性的虚拟机迁移等。
保证了脏数据块的同步
FusionStorage不支持跨资源池的存储热迁移。

远程复制

远程复制,是指基于LUN级的数据镜像,是构成容灾系统的核心。远程复制利用异地间的数据复制以及实时镜像技术,帮助用户避免因灾难性事件所带来的数据损失。
使用远程复制,对端一般是存储设备。远程复制的保护最小单位是存储里的卷(LUN),远程复制实现的就是把LUN里面所有的数据都复制给对端,分为同步复制、异步复制(都具有方向性,主->备)。

HyperMetro

  • 基本原理
    在数据中心A和数据中心B各部署一套华为OceanStor存储(通过FC/IP SAN网络连接到一起),部署为双活模式,为两数据中心业务主机同时提供读写服务。任意数据中心故障,数据零丢失。
  • HyperMetro存储双活设计
    • A-A架构:双活LUN,双站点均可读写,数据实时同步
    • 高可靠性设计:双重仲裁机制,跨站点坏块修复,提高系统可靠性
    • 高性能设计:提供多种性能优化手段,减少站点间交互延时,业务性能提升30%
    • 灵活扩展设计:支持异构,支持与快照、远程复制联动,可扩展为两地三中心容灾方案

为了正确的判断数据中心所产生的故障,加入了第三方的仲裁设备。

设备有两种切换方式

  • 静态优先级
    两边优先级高的是主,低的是备。
    备故障,主设备正常提供服务。
    主故障,备设备不会接管业务。由于不确定是主生产中心挂了,还是主备之间的链路断了,最保险的做法就是直接停止工作。
  • 仲裁服务器
    第三方故障域,单独询问状态。
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第43张图片

容灾中涉及的概念

站点

站点是容灾管理系统的资源组织单位,用户可在站点内或站点间配置容灾保护业务。

  • 按管理位置划分,站点分为本端站点和远端站点。
  • 按保护关系划分,站点分为生产站点和灾备站点。

主机和主机组

主机是指生产站点或灾备站点中的应用服务器。生产站点中的被保护主机称为生产主机,灾备站点中用于测试或容灾恢复的主机称为灾备主机。
主机组是同类主机的组合,组内主机通常为同一个型号、OS版本、业务类型和集群/HA的应用配置。

保护组

保护组是容灾管理系统进行容灾保护的业务对象,由保护对象和保护策略组成。用户可以分别为数据库、主机本地文件系统、LUN、NAS文件系统、虚拟机等各类保护对象创建保护组,根据容灾RPO/RTO要求选择不同的保护策略来实施容灾保护。

保护策略

保护策略是指容灾管理系统对保护对象进行容灾保护的保护方式与调度策略,在创建保护组时自动生成。

恢复计划

恢复计划是容灾管理系统进行容灾恢复的业务对象,用户可以对恢复计划执行测试、清理、计划性迁移、重保护、故障恢复等容灾业务操作。

VRG

VRG(Virtual Replication Gateway)的功能:

  • 聚合VM的IO数据并经过压缩、加密后发送到远端站点
  • 接收远端站点数据,并将数据路由发送到指定的主机上
  • 提供复制策略下发、状态查询等管理接口

占位虚拟机

  • 创建在容灾站点,配置、规格与被保护的虚拟机一致,一般处于关机状态
  • 当容灾站点被启用时,占位虚拟机会挂载容灾站点用于和生产站点同步数据的LUN,然后启动,从而将业务拉活

配置流程

超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第44张图片

容灾测试

  1. 测试准备
  2. 启动数据复制
  3. 检查数据复制状态
  4. 创建快照副本
  5. 映射快照至业务主机
  6. 恢复业务
  7. 测试结束
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第45张图片

故障恢复

  1. 恢复准备
  2. 检查数据状态
  3. 设备灾备存储资源可写
  4. 映射LUN
  5. 恢复业务
  6. 恢复结束
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第46张图片

重保护

  1. 重保护准备
  2. 检查资源状态
  3. 反转存储复制方向
  4. 重建保护与恢复关系
  5. 启动数据复制
  6. 重保护结束
    超详细图文详解,灾备通用基础知识以及华为的灾备产品介绍_第47张图片

你可能感兴趣的:(华为HCIE云计算学习笔记,华为云计算学习笔记)