XX银行数据中心建设方案

引言

摘要：本文简单介绍EMC SRDF技术，重点阐述了银行如何利用该技术进行新旧数据中心搬迁、灾难备份的系统设计，详细介绍了如何按照系统设计要求逐步将旧数据中心安全地、迅速地搬迁到新的数据中心，并最终形成一套灾难备份系统。

关键字：SRDF、数据迁移、灾难备份

随着银行数据集中的深入开展，各种业务数据都进行集中处理。随着业务的不断拓展，我们可能需要对旧数据中心进行扩容，并进行新中心的建设。这时，我们就需要进行数据中心的搬迁工作。而实际上对于较大型的数据中心，经常要利用灾备技术来实现数据的迁移，同时利用原有的数据中心作为备份中心。

如何能保证数据中心迁移过程中数据不丢失？如何确保数据中心迁移过程中业务系统基本不停顿？这些都是我们银行要面对的问题。

本文将基于EMC SRDF技术，以中国建设银行厦门市分行数据中心新旧大楼搬迁和灾备系统实施为例，讨论数据中心数据迁移和搬迁的方案规划、设计和实施。

一、数据中心迁移背景

银行数据中心的共有特点是：业务集中、数据集中、海量数据容量（至少TB量级）、大业务量、业务连续性要求极高、关键业务数据可用性高。随着银行数据集中，旧数据中心由于容量、性能、运行环境等限制，已不能满足业务系统发展的需要，这时各银行就可能建立一个新的数据中心。由于业务24×7的连续性需求和客户数据的重要性，保证业务连续性是数据中心迁移的核心要求，迁移数据的高可靠性是数据中心迁移成败的关键。数据迁移过程中对业务的影响、迁移的数据完整性保证是迁移技术选型、方案设计的依据。

随着厦门建行各项业务系统的发展，原有的计算中心机房已经难以满足越来越多业务系统对中心运行环境的要求，系统的扩充性受到极大的限制。随着分行新营业大楼的使用和新大楼中新中心机房的建设完成，厦门建行需要将原有的数据中心将搬迁到新营业大楼中。

厦门建行原数据中心主机系统基本上是基于IBM RS/6000主机和EMC存储平台为基础的系统。厦门建行主要的银行业务系统包括对公、储蓄、银行卡等核心业务，还包括有代理业务和中间业务等。应用系统是以Tuxedo中间件和Informix、Db2等数据库系统来进行构建的，生产数据集中存放在一台EMC的Symmetrix3830 磁盘机中，可用空间大约约600GB。

厦门建行在新数据中心选用一台EMC的Symmetrix 8530磁盘机作为主存储设备，同时还购买了SRDF、TIMEFINDER、PowerPath、ECC等软件和利用SRDF进行数据迁移的服务，这为使用SRDF进行数据迁移和系统搬迁提供了必要条件。从节约资金的角度，新数据中心的主机系统不再另行购置，全部从旧数据中心搬迁过来。

本文重点说明数据的迁移，设备的物理搬迁不详细说明。

二、SRDF技术概述

目前实现数据迁移和灾难备份的方法、技术很多，有SAN或NAS技术、远程镜像技术、基于IP的SAN的互连技术、快照技术等。其中，业界成熟的磁盘镜像技术对于保证业务连续性和数据迁移的高可靠性方面有着一定的优势，成为众多大型企业数据迁移、灾难备份的首选。EMC公司SRDF（Symmetrix Remote Data Facility）技术是磁盘镜像技术的一个杰出代表，在国内、国际上都有众多的成功案例。

EMC SRDF是迄今为止业界唯一能够同时为大型机、UNIX、Windows NT和AS/400等系统提供完整的业务持续性能力的解决方案。自从其1994年问世以来，EMC存储管理软件已经帮助许多公司管理计划内的数据中心事件（如按计划维护，每日数据备份，数据迁移和应用测试），同时它也负责从突发故障（如数据灾难）中恢复数据。SRDF是一个在线的并且独立于主机的数据镜像信息存储解决方案。它可以将生产现场的数据复制到一个或多个物理上分离的Symmetrix目标系统上。这些系统可以跨越大楼，远至世界各地。

SRDF软件具有如下特点：

1. 支持所有主流服务器，大机（Mainframe）和开放系统能同时使用SRDF；

2. 基于磁盘阵列自身功能，与操作系统、应用软件无关、对主机影响小；

3. 同时支持同步、半同步、异步等数据传输模式；

4. 通过网络系统的支持，SRDF镜像的距离可以到几千公里的距离；

5. 与Symmetrix微码、TimeFinder进行良好配合，实现生产数据的灵活应用，例如：利用BCV卷实现生产数据备份、隔日数据查询、数据仓库等应用；

6. 支持不同通信协议，包括ESCON、T1/E1、T3/E3、ATM、IP、DWDM，FC等；

7. 配置灵活、实施简单、操作方便；

一个典型的SRDF连接，如图一所示。

 

图中显示了同步方式的SRDF一个写请求的完成过程。从图中可以看出，当本地（源）盘要写一个IO的时候，它首先会将IO发到远地（目标）盘上，待目标Symmetrix设备将数据写进Cache后，本地IO才认为是写成功了。这样，就充分保证本地存储和远地存储的一致性，但是对SRDF的连接的网络速率要求就比较高了。

三、需求分析

银行数据中心的迁移工作，与其他项目一样，首先都要从数据中心迁移的需求分析开始，充分理解迁移工作的目标、环境、性能指标等，才可能开始进行设计工作。本节以厦门建行数据中心迁移为例，说明数据中心搬迁的需求分析工作。

1． 总体目标：

厦门建行数据中心迁移的总体目标是：要将数据中心从旧大楼搬迁到新大楼，需要利用数据迁移技术将数据从旧的数据中心迁移到新的数据中心，同时建立新旧大楼之间的数据灾备系统，系统迁移过程中对业务系统的影响要达到最小。

2． 系统环境分析：

厦门建行数据中心由核心业务系统和大量的前置系统组成。其中，厦门建行数据中心的核心主机系统以IBM RS6000主机、EMC存储系统组成，数据库系统采用Informix IDS，应用系统是自行开发的。

厦门建行新旧数据中心物理距离大约6公里。目前在旧的数据中心有一套旧的存储系统。旧数据中心有多套的双机互备的主机系统，包括核心业务系统双机系统、信息系统双机系统、前置系统双机系统（包括多种前置应用系统）等，这些机器都通过SAN连接到核心存储上。而在新数据中心准备新购置一套新的存储系统，但在新的数据中心没有主机系统，只是用一台小配置的机器用于测试，新购置一台与旧中心一样的SAN Switch作为测试。系统情况如下图所示。

 

图二原系统结构示意图

另外，数据中心还有大量的前置机大部分是独立的系统，涉及的操作系统包括：HP-UX、SCOOpenserver、Linux、Windows NT、Windows 2000等；涉及的数据库包括：Informix、Lotus Notes、SQL Server等。这些系统大多是属于可以单独搬迁的系统，其设备的搬迁不与核心系统的搬迁同时进行。因此，这些设备和机器不再上图列出。

3． 业务数据分析：

因为灾备系统需要有一套存储系统，相应的主机系统，要有机房运行条件、网络系统等，因此建立灾备系统需要有较高的投入。所以，要在成本允许的情况下，进行综合考虑，尽可能将比较重要的业务放入灾备系统中。因此我们要将业务数据根据重要性进行划分，一般可以分为：核心业务、重要业务、一般业务。

（1） 核心业务要求24小时不间断运行，其重要性不言而喻。这些业务数据肯定要进入灾备系统，才能在数据中心迁移时以最短的中断时间实现迁移的目的，同时将来数据中心出现问题时，备份中心能保有最新的核心业务数据。比如上图中原系统中的核心业务系统，包括业务主机系统和信息系统。

（2） 重要业务中，要根据允许中断时间、业务重要程度进行划分，将重要程度很高、中断时间要求很短的业务，尽可能放到灾备系统中，将重要程度一般、中断时间可以时间比较长的业务系统考虑不放在灾备系统中。比如上图中连接到SAN环境中的“前置系统1”、“前置系统2”。

（3） 一般业务正常情况下都不进入灾备系统，在数据中心迁移时要进行较长时间的业务中断，中断时间就是一般业务的系统关机、物理搬迁、开机的时间。比如不在上图中示意的其他系统。

4． 迁移需求分析：

按厦门建行的需求，整个系统迁移只能在凌晨进行，而且系统迁移造成的业务中断时间不能超过2小时。也就是说，我们在系统迁移过程中，应用系统关闭、数据迁移、应用系统启动的整个过程占用的时间不能超过2小时。按此要求，我们在设计中要特别注意系统迁移的性能。

5． 性能需求分析：

厦门建行对SRDF性能的要求是系统响应时间不得超过原来的5%。这个需求是针对数据中心搬迁后，新旧数据中心的灾备系统而提出的。基于这个需求，需要对传输的数据量进行估算。

按厦门建行的应用情况，通过对多日的数据量的分析，发现在系统在正常运行中的IO量不大，SRDF完全能满足要求；但是，当应用系统数据库在做Checkpoint的时候，IO量急剧增大。假如每秒IO数据量10M，则SRDF性能要求也是 10*8=80 Mbps。

四、数据中心迁移系统设计

数据中心要进行迁移，既要考虑未来最终使用的情况，也要考虑数据迁移过程的实现。根据厦门建行的系统现状，我们的总体设计思路时：考虑建立一套新数据中心，新旧数据中心采用SRDF进行互联，然后在数据搬迁时利用SRDF进行异地数据迁移，在数据中心搬迁后建立最终的新旧中心灾备系统。

因此，我们的系统总体设计要将重点放在灾备系统设计中，我们要从存储系统硬盘分布、SRDF同步模式的选择、灾备网络方案的确定、灾备软件的匹配等方面的进行分析设计，最终确定总体架构。

1． 盘分布设计：

盘分布设计主要包括两方面的考虑：

（1） 确定哪些应用系统放在灾备系统中。在进行业务数据需求分析完成后，我们就可以确定哪些应用系统、哪些应用数据要放到灾备系统中，我们就可以确定硬盘的可用容量。在厦门建行的应用系统中，将核心业务系统和部分重要系统放在灾备系统中。

（2） 放在灾备系统中的应用数据的盘分布。 在整个主机系统中，I/O的性能是至关重要的。存储系统的I/O性能的提高是整个核心系统性能提高的关键。其中，硬盘的分布是重中之重。在盘分布设计中，我们主要采用两点思路：

•        核心业务使用的硬盘采用Raid-1，而不采用Raid-5。这样，数据在得到双重保护的同时，又不降低性能。

•        核心业务使用的硬盘尽可能放在不同的物理硬盘上。这样，将使核心业务的I/O分摊到不同的I/O通道中，使I/O性能进一步提高。

•        核心业务使用的硬盘尽可能放在不同的通道上。这样，将使核心业务的I/O分摊到不同的I/O通道中，使I/O性能进一步提高。

2． SRDF同步模式选择

SRDF数据镜像技术支持三种工作模式：同步模式、半同步模式、异步模式，其中半同步模式使用较少，同步模式对于同城灾备最合适，异步或自适应模式适合数据的迁移，对主机端的I/O性能影响最小。但是若一套系统仅用于一次数据迁移，既可以异步模式来实现，也可以用同步模式来实现。

按照厦门建行的需求，我们不仅使用SRDF来实现数据迁移，同时将来还要做同城灾备。因此，为了减少对业务的影响，我们可以提前同步，从而在迁移切换时，数据已经处于同步状态，可以使数据迁移的切换时间大大缩短。

3． 网络方案的确定：

在SRDF灾备实施中，为保证实施灾备系统的运行，网络传输速度是至关重要的。在明确迁移需求和系统负载后，以及联机和批量对磁盘更新量以后，进行SRDF带宽设计。包括SRDFSynchronous Delay、VOLUME WRITE I/O LIMIT，具体方法可参考有关资料，这里不详述。

一般情况下，10km以内的两套系统互联，只需要使用裸光纤互联就可以，连接接口采用长波单模光纤接口。采用裸光纤、普通光纤接口的传输速率理论上能达到1Gbps，实际数值也能达到500Mbps以上。

而对于超过10km的两套系统互联，可以采用磁盘间SRDF连接为2根ESCON通道，两地采用NORTEL或CISCO等网络设备厂商提供的DWDM设备作通道延伸，两端DWDM间用DARKFIBER连接。这时就要根据系统的负载需求来确定传输线路的速率了。

因为厦门建行新旧大楼之间距离小于10Km，因此采用裸光纤直连方式进行，通过计算，超过200Mbps的数据传输速率能满足厦门建行数据传输的需要。