两地业务系统数据实时同步方案

1、 客户价值

 

企业应用系统数据库直接关系着企业的命脉，工厂的生产数据、分公司的财务数据、 CRM 数据实时汇总给总部，为总部提供实时的经营决策依据已备受企业高管们重视，同时服务器中的数据安全与容灾也成为企业难以解决的隐患。

为了便于管理与应用，数据的独立应用与集中汇总统计管理在考验着企业高管。而数据库受自身的角色限制，难以达到这些要求，数据同步的应用技术便应运而生。

这并不是传统意义上的数据传输，它主要的作用在于既能为工厂、分公司的数据服务器提供异地容灾备用系统，基于实时镜像传输的数据库企业总部不但可以实时查询各数据库的细节项，还可通过企业应用系统（ ERP 或 CRM ）具有的数据合并、报表合并功能生成汇总。

这种应用模式描述为三点：

 

1)实现两地数据实时同步，利于总部及时掌握工厂生产和库存状况

分布式数据库，如何将分部的数据库数据复制到总部数据库，以利于总部汇总统计。

 

2)实时容灾提高业务系统可用性

系统将主服务器的数据准实时复制至备用服务器，建立主系统的可用副本，实现业务系统的冗余。一旦主服务器停止服务，可立即启用备用服务器上的业务系统并使之投入运行，从而保障业务系统持续运行，极大地降低了服务停止导致的损失。

 

3) 数据汇总或分发

数据仓库系统的数据抽取会对源系统造成巨大压力，降低其性能和响应速度。利用浪擎・镜像系统的同步方案可将生产数据快速抽取到数据仓库，改善业务系统的性能。

 

2 、浪擎・镜像系统与SQLServer 复制比较

 

通过比较两种产品的技术特性，得出两种的产品客户价值。

 

技术特性比较 ：

 

比较项	浪擎・镜像系统	SQLServer 复制 ( 发布 / 订阅 )
复制原理	捕获 SQLServer 增量事务	捕获 SQLServer 事务日志
系统架构	镜像代理、镜像服务器两部分	发布、分发、订阅服务器三部分
目标系统状态	目标数据库完全处于运行状态，可读可写	目标数据库完全处于运行状态，可读可写
复制粒度	数据库记录级别	批量数据库事务
当数据库结构变化	不受影响，无需手工处理	不能复制数据库结构变化
允许表结构更改	允许，且无需手工处理	在复制中的表不允许更改结构
主键要求	无	需要定义主键
复制数据库语言	DDL 和 DML 语言	仅复制 DML 语言
当复制过程失败时	失败重试传输；如果仍不成功，则记录下一次的传输点	需要手工进行初始化和重新同步
当写入目标数据库失败时	重试直至超过重试次数，然后忽略该事务继续执行	复制失败，等待手工处理
当修改目标数据库记录时	覆盖修改	可能导致复制失败
复制速度	极快	缓慢
复制延迟	接近实时	数秒
当源停止服务时，目标的损失	极小，未复制的当前数据库记录	大，一段数据库事务
需要网络共享	无需	需要网络共享，使目标获取初始快照
与事务备份调度的关系	无关	必需协调与事务备份调度同步，否则可能导致事务不一致

 

通过上述技术比较可以得出客户价值比较

比较项	浪擎・镜像系统	SQLServer 复制 ( 发布 / 订阅 )
部署过程难易程度	容易，配置较少	部署架构非常复杂
运营维护工作量	自动化程度高，维护工作量少	自动化程度低，维护工作量多
数据一致程度	非常高，适合交易类业务应用要求	复制失败易导致源和目标数据不一致
数据安全	安全程度高，无数据库暴露潜在风险	暴露数据库存在安全隐患
复制距离	适合 internet/ 跨地域 / 企业内部应用	适合企业内部应用
网络带宽要求	非常低	较高
适合应用系统	适合大型数据库应用系统的复制	适合较小的数据库业务应用

 

3 、同步方案

 

浪擎・镜像系统是业界成熟的应用系统复制解决方案，无需源和目标硬件规格或配置相同，具有准实时复制、系统和网络资源占用少、应用方式灵活等特点。浪擎・镜像系统支持 SQLServer 数据库、 Oracle 数据库、文件系统等应用系统的准实时同步和备份容灾。

 

1) 产品组件

• SQLServer 数据库镜像代理（ For SQLServer 2000 、 2005 ）。
• 镜像存储服务器（ For Windows 2000 、 2003 ）。
• 镜像任务监测。

2) 复制原理

 

浪擎・镜像系统 SQLServer 数据库镜像代理实时监控源S QLServer 数据库和捕获其变化事务，并将捕获结果传输到目标 SQLServer 数据库，再通过存储进程执行到目标 SQLServer 数据库。

目标 SQLServer 处于运行状态，能读能写，运行的目标系统保证了业务数据的一致性和完整性。系统不受操作系统、硬件平台及存储设备的影响，且无需源和目标保持一致。

 

3) 部署

 

部署架构图

在源 SQLServer 数据库服务器上安装 SQLServer 镜像代理；

在目标 SQLServer 数据库服务器上均安装镜像服务器。

系统管理员可通过管理端配置镜像策略、全量和增量作业等。

 

配置策略： 第一次运行基准同步后，以后实时地将源 SQLServer 数据库数据复制到目标数据库。

 

第一次运行基准同步 ：对 SQLServer 可先进行数据库备份，然后在备用 SQLServer 上进行恢复即可；对于文件系统则进行“完全镜像”将所有文件复制到目标服务器上。

 

SQLServer 准实时增量镜像 ：镜像代理的监控事务变化，并实时捕捉数据库操作，再将该操作传输给镜像服务器。镜像服务器收到后，提交给备用 SQLServer 服务器，完成一个镜像流程。

 

4)SQLServer 同步技术参数

 

技术参数	说明
复制原理	捕获 SQLServer 的增量事务进行复制
复制粒度	数据库记录
复制 DDL 语言	复制数据库定义语言，如： 增加、删除、修改表 增加、删除、修改字段定义 增加、删除、修改触发器、存储过程 …
复制 DML 语言	复制应用程序提交的数据
保存事务日志	系统保存捕获的事务日志
源与目标硬件规格要求	无需一致
网络带宽占用	远小于存储层复制
复制时延	异步复制，秒级延时
复制最大距离	无限制
对系统性能的影响	源系统 CPU 占用率不超过 5%
支持应用方式	一对一、一对多、多对一
事务完整性	完整、一致
目标应用系统状态	运行状态，能读能写
复制方向	单向，从源至目标
支持过滤	可设置过滤条件
支持版本	SQLServer 2000 、 SQLServer 2005

 

4 、工程实施

项目实施过程：调研、安装与调试、测试、演练、验收、出具实施报告。具体事项与实施文档在实施过程中生成。实施过程中事项如下：

 

1) 统计业务系统信息

 

在实施镜像方案之前，详细了解各台主机的系统配置、业务系统、数据量、备份方式（文件、数据库在线）、允许的时间窗口，每日数据增量等信息。同时确定各机器的网络配置信息，如 IP 地址，主机名，域名等。

 

2) 制定镜像策略

 

镜像日程、网络链路、过滤策略、存储位置等 ( 详细策略和实施报告要根据具体需求制定 ) 。

 

3) 培训工作

 

在项目实施过程中，必须做好对系统管理员的培训工作。培训需准备好各种操作系统的计算机主机、相关培训教材等。培训内容一般包括软件的基本结构，镜像管理程序的安装使用，日常维护、演练等。

 

4) 日常维护

 

    系统安装调试成功结束后，日常维护包含两方面工作，即硬件维护和软件维护。如果硬件设备具有很好的可靠性，系统正常运行后基本不需要经常维护。管理员也可以利用远程管理的功能，全面监控系统的运行情况。

 

5 、成功案例精选

 

浪擎科技的存储备份系统已在数百家单位成功实施，并深获用户好评，案例精选如下：

 

第一，上海市公务网接入单位异地备份系统

 

公务网的接入单位通过公务网使用浪擎科技的存储备份系统将其业务系统数据远程备份至公务网管理中心机房。为保证异地备份数据存储安全，将异地备份数据再镜像至其他公务网机房，并进行加密存储。该方案使用磁盘阵列和磁带库作为存储介质。

 

目前异地备份系统的使用情况如下：高法、宣传部、崇明三家接入单位已使用，每天增量备份数据达30GB， 月需存储空间达1TB 。备份的业务系统包括绝大部分的核心业务系统、日常办公系统， 如：高法的法院系统数据中心的生产数据，宣传部的公文系统、OA、信息资料库，崇明的信息平台数据等 。

 

第二，为大量的生产主机建立定时备份制度，保证数据存储安全。

典型应用：

• 上海市委办公厅
• 上海市高级人民法院
• 上海市人民检察院
• 上海市徐汇区人民政府
• 上海市长宁区人民政府
• 上海市黄浦区人民政府
• 上海市杨浦区人民政府
• 上海市卢湾区人民政府
• 上海市静安区人民政府
• 浦东新区电子政务数据备份中心
• 东方网（ [url]http://www.eastday.com[/url] ）

第三，建立准实时或定时的高频度数据复制机制，为生产系统建立备用系统，保证业务系统持续运行。

典型应用：

• 文新集团《东方早报》、《新民晚报》、《文汇报》等采编服务器备份容灾
• 联合船代业务系统备份容灾
• 爱德万测试备份容灾
• 普力万聚合体备份容灾
• 温州电力备份容灾

第四，充分利用镜像系统高效镜像机制，实现两地数据同步。

典型应用：

• 上海市档案局仙霞馆和外滩馆两馆之间的数据同步
• 上海市农产品交易中心数据库同步
• 捷强烟草集团

典型案例：

上海市档案局�D一两馆之间数据同步：

浪擎・镜像系统负责将仙霞馆的 IBM P650 和 P630 小型机上的 Oracle 数据库、 TRS 全文索引数据库、档案文件定时复制到外滩馆的 IBM P650 小型机上。目前，复制数据已达 4TB 。每年的数据增量为 2TB 。