本文主要介绍容灾相关基础知识,包括容灾的定义、作用,并描述容灾的衡量标准,以及实现容灾需要用到的相关产品。主要介绍华为灾备产品BCManager,并详细讲解BCManager实现灾备时的相关知识。
灾备是指利用科学的技术手段和方法,提前建立系统化的数据应急方式,以应对突发事件的发生。
灾备技术:在故障或者灾难发生的时候,用于保证业务不中断,或者业务不丢失的技术。
灾备包括容灾系统和备份系统。
现在是IT的世界,我们需要不中断的Internet接入,不中断的IT服务,但是我们的数据中心却面临着各种威胁。
数据爆炸式增长
业务连续性需求
数据安全性需求
企业和数据
企业的业务运行越来越依赖于所存储的数据信息,且企业中关键数据迅速增长。
应用系统和数据
越来越多的应用系统不断上线,对各种数据的需求持续增加。
在当今IT行业中,数据量激急剧增长,并且新的法规不断出台,对备份时间、恢复时间目标(RTO)以及恢复点目标(RPO)方面要满足更加严格的服务级别协议要求。
在IT行业中备份主要指:
在IT行业中,容灾是指在相隔较远的异地,建设两套或多套云计算系统,互相之间可以进行健康状态检查和功能切换,当一处系统因意外(如火灾、地震等)停止工作时,整个应用系统可以切换到另一处,使得该系统功能可以继续正常工作。
配置备份的五大部分:
云服务器备份服务(Cloud Server Backup Service):为服务器提供整机备份服务,支持基于多云硬盘一致性快照技术的本地备份,以及对备份数据的远程复制,并支持利用备份数据恢复云服务器数据,最大限度保障用户数据的安全性和正确性,确保业务安全。
云硬盘备份服务(Volume Backup Service):基于云硬盘提供备份服务。用户可为云硬盘创建备份,利用备份数据回滚云硬盘,最大限度保障用户数据的安全性和正确性。
适用于备份数据量不大,时间窗口宽裕,或希望将数据异地离线长期保存的场景。如HPMSL6060、IBM TS3310等。
优势:
劣势:
适用于数据量大,备份窗口相对较小,对备份设备的性能和可靠性要求很高的场合,如数据中心。产品如华为Oceanstor V3系列、18000系列。
优势:
劣势:
需继承企业原有磁带备份架构和策略,又需要提高备份速度的场景,如华为VTL6900。
优势:
劣势:
适用于对速度要求不高,容量不大,不用经常擦写的场景,如教育、档案、图书馆、广电等行业,如SONYPDJ-1080。
优势:
劣势:
适合备份数据量不是很大的业务,如OceanStor 9000、FusionStorage。
优势:
劣势:
在不同的层面上,容灾有不同的技术。
基于存储层的容灾
虚拟化环境下,常见的容灾都是基于存储层的容灾,并不能保证虚拟机不间断运行,但是可以保证生产中心出现故障后,可以让容灾数据中心自动地把虚拟机启动起来,根据虚拟机里面的配置,系统启动完成后,里面的服务配置成自动启动,接替业务的运行。
优点:相对比较简单,只需要做一些存储层的容灾再加上一些容灾的管理软件即可。
缺点:做不到特别短的RTO(恢复时间目标)
目前可以做的是:同步复制,异步复制,双活。
虚拟化层容灾
VMware公司的FT(容错)技术,一主一备两个虚拟机,两个虚拟机状态实时同步,采用的方式叫内存重放(所有主虚拟机上做的操作,都会被同步到备虚拟机上),一旦检测到主虚拟机上业务出现故障,会自动地切换到备用虚拟机上。
优点:可以实现秒级之内的业务切换。
缺点:对虚拟机和网络的要求非常高,并不是所有的虚拟机都可以适用容错技术。
基于阵列层的容灾
相对比较好做,只需要存储有相应的容灾的licence,并且通过SAN网络或者IP网络将两个存储连接到一起,让存储里面的数据实时同步。如果生产中心出现了问题,可以通过备份的磁盘直接把虚拟机启动起来。
基于SAN网络层的容灾
虚拟化网关复制或镜像两个技术,可以实现存储的复。
缺点:无法做到实时的同步,有一个定期的周期去更新。RPO无法做到0,一定会丢失部分数据。
基于主机层容灾
更偏向于操作系统
数据库复制
双活
两个存储可以同时读写数据
同步复制
主存储可以写入数据,备份存储无法写入。数据实时同步。
BCManager演进历史
BCManager的作用
OceanStor BCManager是面向企业数据中心存储容灾业务的管理软件,实现容灾、双活、两地三中心等容灾环境的管理,具备多种数据库应用与虚拟化环境的容灾管理功能,简单高效的完成容灾业务配置,清晰可视的掌握系统容灾业务的运行情况,快速方便的完成数据恢复和测试演练。
eBackup基于虚拟机/磁盘快照、CBT(Change Block Tracing)和快照比对技术,对虚拟机、公有云、私有云和混合云四种应用场景下的用户数据提供全面的保护。
eBackup支持虚拟化场景下,虚拟化及磁盘数据的备份恢复。
管理员通过web UI将备份/恢复指令发送给备份服务器,由备份服务器将任务派发给备份代理。
备份代理实时将任务状态任务信息,反馈给备份服务器,再有备份服务器把任务信息反馈给客户(通过更新界面)。
备份数据要通过生产网络、业务网络进行传输。
LAN-Base组网可以应用在任何场景下(虚拟化场景,私有云场景,本地存储,集中存储,IPSAN,NAS)
备份流量不占用业务网络。
生产存储和eBackup服务器直接走存储网络通信(FC网络,FusionStorage环境)
与FusionStorage备份方式类似,把数据全部切成小块,切块之后再记录一个类似地图的东西,地图会记录这一次备份所占用的数据块是哪些,备份的时候只需要根据这个地图顺序的读取这些数据块即可。
不需要进行数据的合成,只需要按照地图去读取数据就行了,所以恢复速度较快。
块追踪技术
第一次备份的时候完全备份,然后此时CBT开始工作,会在内存里面建立一个内存变更位图,把每一个数据块对应到内存的一个二进制位上。数据变更之后,在对应的二进制位上置一,后续备份的时候,由于我们知道只有那些位置出现了变化,所以只需要更新对应位置即可。
每一次备份之后产生一个快照,通过多次快照的对比,对比出现哪些数据块不同,然后只将不同的数据备份下来。
两种备份方式适用场景
两种备份方式对比
会将所有的备份数据进行切片,并计算哈希值,备份的时候如果有相同的数据,只保留一份,可以降低用户备份存储的购置成本。
当用户只想获取备份里面某一个文件时,就需要用到文件细粒度恢复技术。
将备份的数据做成一个虚拟的磁盘,然后将虚拟磁盘挂载给虚拟机,让用户可以从虚拟机里面读取磁盘的文件,然后复制出来,复制用户所需要的文件。(在操作系统可以看到多了一块虚拟磁盘,是只读的)
现版本的eBackup无法使用
可以把生产站点里面的数据备份到远程的备份站点中,备份的时候所传输的数据都是压缩和加密的。
不支持备份数据的断点续传和重复数据删除。
本地会有一个存储保存数据,远程也会有一个存储来保存数据。
不支持重复数据的删除。
eReplication是一款基于华为存储复制、快照、双活、克隆以及FusionSphere主机复制等特性,保证上层应用数据一致性,针对华为典型容灾解决方案,提供可视化、流程化、简单、快捷的操作与监控平台的灾备管理软件。
eReplication定位为企业数据中心容灾业务管理软件,通过良好的应用感知能力,集合华为存储增值特性,确保容灾过程中应用数据的业务一致性,简单高效地完成容灾业务配置,清晰可视地掌握系统容灾业务的运行情况,快速方便地完成数据恢复和测试。
使用存储设备里的特性来完成数据的复制,需要将两个存储连接到一起,可以使用IPSAN或FCSAN,然后再通过容灾管理服务器来进行业务的感知切换。
应用场景
IO Mirror,是指通过虚拟化平台主机层进行IO捕获与复制,实现数据的远程复制和容灾管理,实现容灾保护策略制定、容灾计划制定、容灾切换(包括故障切换和计划切换)及有计划性的虚拟机迁移等。
保证了脏数据块的同步
FusionStorage不支持跨资源池的存储热迁移。
远程复制,是指基于LUN级的数据镜像,是构成容灾系统的核心。远程复制利用异地间的数据复制以及实时镜像技术,帮助用户避免因灾难性事件所带来的数据损失。
使用远程复制,对端一般是存储设备。远程复制的保护最小单位是存储里的卷(LUN),远程复制实现的就是把LUN里面所有的数据都复制给对端,分为同步复制、异步复制(都具有方向性,主->备)。
为了正确的判断数据中心所产生的故障,加入了第三方的仲裁设备。
设备有两种切换方式
站点是容灾管理系统的资源组织单位,用户可在站点内或站点间配置容灾保护业务。
主机是指生产站点或灾备站点中的应用服务器。生产站点中的被保护主机称为生产主机,灾备站点中用于测试或容灾恢复的主机称为灾备主机。
主机组是同类主机的组合,组内主机通常为同一个型号、OS版本、业务类型和集群/HA的应用配置。
保护组是容灾管理系统进行容灾保护的业务对象,由保护对象和保护策略组成。用户可以分别为数据库、主机本地文件系统、LUN、NAS文件系统、虚拟机等各类保护对象创建保护组,根据容灾RPO/RTO要求选择不同的保护策略来实施容灾保护。
保护策略是指容灾管理系统对保护对象进行容灾保护的保护方式与调度策略,在创建保护组时自动生成。
恢复计划是容灾管理系统进行容灾恢复的业务对象,用户可以对恢复计划执行测试、清理、计划性迁移、重保护、故障恢复等容灾业务操作。
VRG(Virtual Replication Gateway)的功能: