双数据中心容灾模式的构建

　内容提要：数据容灾问题是政府、企业等部门信息化建设过程中面临的一个具有重要理论和现实意义的研究课题。为实现容灾的建设需要在容灾相关技术、业务系统需求分析、容灾的总体方案设计及系统实现等进行设计与研究。本文根据新疆国税业务数据处理的现状以及将来容灾建设的目标，详细阐述了容灾的概念、技术要点，重点对新疆国税的业务数据处理进行分析，提出了具体的容灾解决方案，同时，给出了测试实例。

　　关键词：双数据中心 容灾 RPO RTO

　　随着税务系统信息化建设的不断深入，按照“一体化建设”原则，税务系统业务处理和数据存储模式也在不断向更高层集中。在国税总局金税工程三期建设方案中已明确提出，以省级国家税务局数据处理中心为主，国家税务总局数据处理中心为辅的两级业务集中处理，数据集中存储，信息化设备集中使用、集中管理的业务数据处理模式成为建设目标。

　　数据集中存储势必要求提高数据安全等级，确保业务系统安全可靠的连续运行。税务总局在广东南海建立了总局灾备中心，并在南方一些省市开始进行广域灾备试点工作。同时，多个省级国税局都在准备同城异址的灾难备份计划，所以容灾建设是一个不可回避的课题。

　　-、灾备技术

　　1.总体概述

　　我国出台的《信息安全技术信息系统灾难恢复规范》(下称《规范》)中明确定义：灾难是由于人为或自然的原因，造成信息系统运行严重故障或瘫痪，使信息系统支持的业务功能停顿或服务水平不可接受、达到特定的时间的突发性事件，通常导致信息系统需要切换到备用场地运行。图1数据来源于： Contingency Planning Research， Inc 1999 ( 1982-1997(美国)样本数：6000宗)

　　由此可见，灾难不仅指自然的原因，也包括人为的原因。对于信息系统的连续性运行来说，灾难的范围很宽泛。因为自然灾害或其他原因造成的数据丢失的案例经常发生。

　　事实上，要保持业务连续性，最大的威胁并不是来自于火灾、地震等小概率、大影响的灾难。相反，更多地受到诸如人员错误、流程缺陷等事件的威胁。虽然它们对业务的影响力远不如那些重大灾难，但是它们却时刻潜伏在日常生产过程中，一触即发，同样会造成致命的打击。所以灾备系统的建设，不仅仅是IT技术上的实现，更多的是整个体系以及灾备流程的建设。

　　《规范》中的规定了我国灾难恢复等级划分六级。

　　“第1级”：数据介质转移(异地存放、安全保管、定期更新)，该灾难恢复方案必须设计一个应急方案，能够备份所需要的信息并将它存储在异地。通常将本地备份的数据用交通工具送到远方。这种方案相对来说成本较低，但难于管理。

　　“第2级”：备用场地支持(异地介质存放、系统硬件网络可调)，它相当于第1级再加上热备份中心能力的进一步的灾难恢复。热备份中心拥有足够的硬件和网络设备去支持关键应用。相比于第1级，明显降低了灾难恢复时间。

　　“第3级”：电子传送和部分设备支持(网络传送、、磁盘镜像复制)，它是在第2级的基础上用电子链路取代了卡车进行数据的传送的进一步的灾难恢复。由于热备份中心要保持持续运行，增加了成本，但提高了灾难恢复速度。

　　“第4级”：电子传送和完整设备支持(网络传送、网络与系统就绪)，它是指两个中心同时处于活动状态并同时互相备份，在这种情况下，工作负载可能在两个中心之间分享。在灾难发生时，关键应用的恢复也可降低到小时级或分钟级。

　　“第5级”：实时数据传送及完整设备支持(关键数据实时复制、网络系统就绪、人机切换)，它提供了更好的数据完整性和一致性。也就是说，第5级需要两中心与中心的数据都被同时更新。在灾难发生时，仅是传送中的数据被丢失，恢复时间被降低到分钟级。

　　“第6级”：数据零丢失和远程(在线实时镜像、作业动态分配、实时无缝切换)，它可以实现0或者极少的数据丢失率，被认为是灾难恢复的最高级别，在本地和远程的所有数据被更新的同时，利用了双重在线存储和完全的网络切换能力，当发生灾难时，能够提供跨站点动态负载平衡和自动系统故障切换功能。

　　在容灾建设中用到的两个衡量指标，RTO(Recover Time Object)恢复时间指标，是指当灾难发生后，生产系统需要多长时间能够恢复生产，它是衡量在灾难发生后多长时间能重新开始运转的指标。RPO(Recover Point Object)恢复点指标，是指灾难发生后，容灾系统能把数据恢复到灾难发生前的哪一个时间点的数据，它是衡量在灾难发生后会丢失多少生产数据的指标。RTO与RPO是容灾建设中非常关键的指标，直接与总成本相关。

　　2.主流灾备技术介绍和分析

　　通常说来，对于远程灾难恢复方案建议用户建立两个数据中心，主中心和备份中心。正常情况下，应用运行在主数据中心的计算机系统上，数据也存放在主中心的存储系统中。当主数据中心由于断电，火灾甚至地震等灾难无法工作时，则立即采取一系列相关措施，将网络、电话线路切换至备份中心，并且利用备份中心计算机系统重新启动应用系统。

　　而这里最关键的问题就是切换过程时间最短，同时尽可能保持主数据中心和备份中心数据的连续性和完整性。而由于税务数据的重要性，如何解决主、备中心数据库数据备份、恢复则是灾难恢复方案的重点。

　　传统的磁带备份方式一般采取定点备份，而当系统崩溃时。距最近一次备份时间之间的数据将全部丢失，无法恢复，而且磁带备份恢复时间比较长。由于速度慢，缺乏实时性，无法满足用户大数据量数据恢复及数据库连续性，实时性的要求。

　　而现在主流的灾难恢复方案主要是采用实时的数据备份的方式。它的主要原理是通过通信线路，实时地将主中心更新数据拷贝至备份中心存储系统中，保证主、备中心数据的实时一致性。当主中心无法工作时，备份中心可以立即接管业务，并且确保数据的最大完整性。

　　根据信息系统中的不同层次，可采用不同的IT技术进行数据同步或者复制。通常将其分为六个层次：

　　1.磁盘存储层(Disk Array)2. SAN存储网络层(SAN Network)

　　3.操作系统逻辑卷层(Volume Manager)4.文件系统层(FileSystem)

　　5.数据库层(DataBase)6.应用系统层(Application)

　　1)基于存储镜像复制技术

　　基于存储镜像复制技术的灾备方案的核心是利用存储阵列自身的盘阵对盘阵的数据块复制技术实现对生产数据的远程拷贝，从而实现生产数据的灾难保护。在主数据中心发生灾难时，可以利用灾备中心的数据在灾备中心建立运营支撑环境，为业务继续运营提供IT支持。同时，也可以利用灾备中心的数据恢复主数据中心的业务系统，从而能够让业务运营快速回复到灾难发生前的正常运营状态。

　　盘阵之间的镜像复制技术的主要特点是不占用主机CPU，内存，I/O资源，并且对主机操作系统无关，对应用系统影响比较小。这也是目前最成熟，应用最广泛的灾备技术。但是其缺点是生产中心和备份中心需要采用同厂商同型号的存储设备。

　　现在主流的存储厂商都支持磁盘阵列级的镜像复制技术，例如EMC DMX系列的SRDF，EMC CX系列的MirrorView，IBM DS8000的MetroMirror、GlobalMirror，IBM DS4000的ERM，HP XP系列的ContinuousAccess，HDS USP系列的TrueCopy等。

　　2)基于SAN网络复制技术

　　基于SAN网络复制技术，是近年来比较新的一种技术，此技术实质是在SAN网络中增加一个虚拟存储管理设备，根据厂商的不同可以直路部署或旁路部署。

　　基于SAN网络的复制技术支持异构存储设备，并且对于主机端来说是透明的，在数据中心拥有多个厂商的磁盘阵列时，比较适合，但是缺点是对后端存储I/O速度有影响，成熟度还有待提高。

　　支持此技术的厂商有IBM SVC、EMC invista、Falcon Ipstor等。

　　3)基于操作系统卷复制技术

　　基于操作系统卷复制技术工作在主机的卷管理器这一层，通过磁盘卷的镜像或复制，实现数据的容灾。这种方式也不需要在两边采用同样的存储设备，具有一定的灵活性，但复制功能会占用一些主机的CPU资源，对主机的性能有比较大的影响。因此，这种方法的可扩充性较差，实际运行的性能不是很好。基于主机的方法也有可能影响到系统的稳定性和安全性，因为有可能导致不经意间越权访问到受保护的数据。

　　常见的卷复制软件有Symantec Veritas Volume Relicator等。

　　4)基于数据库逻辑复制技术

　　基于数据库的复制技术是一种逻辑复制技术，支持异构存储、甚至是异构操作系统平台，它的工作原理为通过分析生产数据库的重做日志，生成通用或私有的SQL语句，然后传输到备份数据库上进行Apply应用。

　　这种数据复制优点是可以与底层存储无关，跨平台，速度较快，但缺点就是占用主机资源，并且对某些特殊数据类型支持不好，有些DDL操作语句也不支持，并且如果业务系统中有随机产生的数据时，数据一致性无法得到保证。

　　常见的数据库逻辑复制技术有Oracle DataGuard，Oracle Stream，Quest shareplex for Oracle，DSG RealSync for Oracle，IBM DB2 HA/DR.

　　5)基于应用系统技术

　　基于应用系统的技术，应用系统必须支持交易的分发，利用交易中间件软件，将在线交易同时在生产中心和灾备中心执行;或者通过交易中间件软件将任何主中心的数据改变发送到备份中心，从而保证生产中心和灾备中心的数据一致性。这种方式的优点是对网路带宽的要求较低，缺点是需要修改应用，在现有应用的情况下，比较难实现。

　　二、新疆国税现状

　　新疆国税主要关键业务包括综合征管系统、防伪税控系统、稽核协查系统、车购税系统、货运代开系统、人事系统、财务系统、税务执法系统、外网申报系统以及办公自动化系统等。其中综合征管系统是最核心系统，其它系统的数据和功能的处理依赖于该系统的正常运行。

　　大部分业务系统包括综合征管系统、防伪税控系统、稽核协查系统、车购税系统、货运代开系统等均采用Oracle数据库，系统均采用Oracle数据库RAC技术，实现两台高可用数据库服务器的负载均衡。

　　各系统应用服务器采用PC服务器，在应用服务器层实现负载均衡技术，提高系统的性能和处理效率。所有关键业务系统数据采用集中存储，集中存储磁盘阵列为EMC DMX800.

　　目前新疆国税有同城新旧两个数据中心，距离1500米，数据中心之间通讯条件较好，有多对光纤连接;为提高数据中心和未来灾备系统的利用效率，设想采用双中心运行的模式。

　　综合征管系统作为新疆国税核心业务系统，需要支撑各业务单位7*24的系统运行;在发生灾难的情况下，为保证在较短时间内恢复中断的全自治区地州税收征管业务，其灾备系统设计技术指标RTO和RPO必须满足业务需求，在技术条件允许的情况下，尽可能地实现RTO=0的双活运营中心系统。

　　其它系统与综合征管系统是数据和功能依赖程度较强的紧耦合关系，因此为保证新疆国税整体IT系统的正常运行，其它系统如防伪税控系统、稽核协查系统、车购税系统、货运代开系统等也需尽可能实现RTO=0的双活运营中心系统。

　　三、具体实施方案

　　方案一：跨两地的Oracle RAC集群，通过LVM进行数据镜像。

　　该方案是将Oracle RAC集群节点部署在两地数据中心，形成跨中心的并行处理环境，同时对外提供服务。本方案采取两地存储设备间的数据复制是通过AIX操作系统提供的逻辑卷管理程序的镜像功能(LVM Mirror)实现的。正常情况下，I/O读请求可以从两个存储设备读取数据，而写请求则通过主存储设备(假设为生产中心A)完成，并以同步方式将数据更新复制到备份存储设备;当主存储设备失效时，I/O请求通过LVM的管理转向备份存储设备继续I/O访问。如果任何一台主机失效，业务请求通过RAC的另一个节点继续处理，这个过程可通过HACMP的管理完成。该方案同样可以保证在灾难性事件发生时业务的连续可用性。

　　方案二：跨两地的Oracle RAC集群，通过VERITAS Storage Foundation进行数据镜像。

　　该方案从镜像原理上讲，在城域SAN存储网络上的两套磁盘系统之间的镜像，和在一个机房内的SAN上的两个磁盘系统之间的镜像并没有任何区别。

　　利用裸光纤将生产中心和灾备中心的SAN网络连接起来，构成城域SAN网络以后，利用VERITAS Storage Foundation的先进的逻辑卷管理功能，我们就可以非常方便的实现生产中心磁盘系统和灾备中心磁盘系统之间的镜像了。

　　我们可以看到，利用VERITAS Storage Foundation，我们可以创建任意一个逻辑卷(Volume)供业务主机使用，实际上是由两个完全对等的，容量相同的磁盘片构成的，两个磁盘片上的数据完全一样，业务主机对该Volume的任意修改，都将同时被写到位于两生产中心的两个磁盘系统上。

　　采用这种方式，生产中心的磁盘阵列与同城容灾中心的磁盘阵列对于两地的主机而言是完全同等的。利用城域SAN存储网络和VERITAS Storage Foundation镜像功能，我们可以非常轻松的实现数据系统的异地容灾。并且消除了复制技术(无论是同步还是异步)的切换的动作，从而保证零停机时间，零数据损失的实现。

　　方案三：飞康CDP连续数据保护和灾备系统

　　该方案使用飞康CDP数据保护体系可以对所有逻辑灾难做到瞬时恢复，CDP技术实际上它是把备份技术和容灾技术做了一个结合。它是一种精细化多点跟踪技术。通过实时连续的复制，将系统和数据进行实时的捕捉。很多的技术捕捉的方式不同，但是有一点，主要是机遇LUN的捕捉技术。CDP技术侧重点不仅仅是在于备份，更重要的一点是瞬间恢复，这是跟备份技术很大区别。实际上一定程度说是新型备份的技术。侧重点不仅仅是备份，主要是在恢复的技术上，能够达到快速和瞬间的恢复。

　　另外，这一点恢复技术能够实现一定业务连续性指标，这是传统的备份技术所不具备的。如果出现了数据丢失，备份技术解决了在一点时间来提高历史数据的恢复，有一个不确定的数据丢失指标。作为备份技术，长期以来在满足RPO指标方面是有一个不确定性，因此只能够做一种后援手段，把近似的丢失的数据最大限度的来恢复回来。

　　四、测试实例

　　新疆国税目前在乌鲁木齐拥有两个数据中心，分别在五星南路和青年路，光纤链路1500米。根据方案二我们搭建测试环境如下图6所示，通过在以上两个中心部署多芯光纤，实现双中心架构，提高核心业务的可用性。从而达到业务可以在以上两个业务中心对等的运行。任何一个中心出现灾难均不会对业务产生任何影响。

　　根据以上方案的分析，我们重点选择了方案二进行了可行性论证，并通过科学的实验和测试验证可行性。测试环境如下：

　　我们进行了如下几项进行测试：

　　生产存储阵列故障或容灾存储阵列故障

　　在具有较大压力的情况下，(通过程序模拟客户端操作)直接关闭生产系统磁盘阵列电源或容灾系统磁盘阵列电源，其测试结果是由于采用两台磁盘阵列实时备份方式，此测试未造成数据丢失和应用停机。

　　1.生产SAN交换机故障或容灾SAN交换机故障

　　在具有较大压力的情况下，(通过程序模拟客户端操作)直接关闭生产中心SAN交换机电源或容灾中心SAN交换机电源，其测试结果是由于采用全冗余SAN网络链路，未造成数据丢失和应用停机。

　　2.生产服务器故障或容灾服务器故障

　　在具有较大压力的情况下，(通过程序模拟客户端操作)直接关闭生产中心服务器电源或容灾中心服务器电源，其测试结果是服务器故障未导致整个核心业务系统停机。

　　3.模拟生产中心灾难或容灾中心灾难

　　在具有较大压。力的情况下，(通过程序模拟客户端操作)直接同时关闭生产服务器、SAN交换机和存储阵列电源或容灾服务器、SAN交换机和存储阵列电源，其测试结果是容灾系统或生产中心能立即接管所有应用，并且不会丢失任何数据。

　　五、结论

　　通过上面的测试，我们认为双活数据中心可以看作是容灾中心建设的延续和发展。相对主备数据中心的方案，双活方案极大地提高了数据中心设备的利用率，使用户投资得到最大程度的保护。但是，数据中心是否可以做到双活取决于应用的具体架构和业务模式。就目前的技术水平而言，不是任何应用都适合"双活".在考虑一个业务或应用环境的灾备方案时，我们需要从应用架构出发，设计出适合业务需求的切实可行的方案。总体来讲，新疆国税两个数据中心内以及数据中心间的网络通讯带宽均为1000Mbps以太网，两中心间单向线路距离约为1500米，具备了良好的网络条件。就C/S架构的核心应用- CTAIS而言，如果考虑将目前的单节点Oracle数据库模式改造为Oracle RAC并行数据库模式，将Oracle RAC节点作为一个集群部署在两个数据中心，可以形成双活模式。对于B/S架构的应用，在应用服务器层，可以将WebLogic集群部署在两中心;在数据库层，由于目前已经使用Oracle RAC模式，同样可以采用跨两中心的Oracle RAC集群。

　　参考文献：

　　[1]郑敏.数字图书馆的数据备份和容灾方案[J];科技情报开发与经济;2005年15期

　　[2]张艳，李舟军，何德全.灾难备份和恢复技术的现状与发展[J];计算机工程与科学;2005年02期

　　[3]王树鹏，云晓春，余翔湛，胡铭曾.容灾的理论与关键技术分析[J];计算机工程与应用;2004年28期

　　[4]张弛 刘晓洁 李涛 卢正添.一种基于数据库容灾的服务保障体系[J];计算机安全2008年第10期

　　[5]刘荣峰.对远程集群实现业务级容灾的研究[D];重庆大学;2007年

　　[6]Richard P. King ， Nagui Halim ， Hector Garcia-Molina ， Christos A. Polyzois， Management of a remote backup copy for disaster recovery， ACM Transactions on Database Systems (TODS)[J]， v.16 n.2， p.338-368， June 1991

　　[7]C. Mohan ， Kent Treiber ， Ron Obermarck， Algorithms for the Management of Remote Backup Data Bases for Disaster Recovery， Proceedings of the Ninth International Conference on Data Engineering[C]， p.511-518， April 19-23， 1993

　　[8]Manhoi Choy ， Hong Va Leong ， Man Hon Wong， Disaster recovery techniques for database systems[C]， Communications of the ACM， v.43 n.11es， Nov. 2000

　　[9]King，R.P.Halim，N.Garcia-Molina，H.Polyzois，C.A Overview of disaster recovery for transaction processing systems[M] 1990

　　[10]闽有黎.马晓明大型数据库系统容灾技术研究[J];电信技术2005

　　[11]阮志林.数据库容灾系统的方案设计及应用[J];《应用科技》-2004年6期

　　作者单位：

　　新疆维吾尔自治区国家税务局信息中心